Teritoriile pe care se afla o veche fortăreață au fost cunoscute sub numele de Columbine până în secolul al XVII-lea. Ele au fost achiziționate la începutul secolului al XVI-lea de Jean Le Breton, controlorul general de război al Franței în timpul regelui Francisc I, iar un nou castel a fost construit în jurul donjonului original din secolul al XIV-lea, unde regele Filip al II-lea al Franței s-a întâlnit odată cu Richard I al Angliei pentru a discuta despre pace.
Castelul a rămas în proprietatea familiei Le Breton timp de peste două secole, până când a fost achiziționat de marchizul de Castellane. În timpul Revoluției Franceze, proprietatea a fost confiscată, iar la începutul secolului al XIX-lea, Împăratul Napoleon a achiziționat-o pentru fratele său Jérôme Bonaparte.
În 1906, Joachim Carvallo a cumpărat proprietatea și a investit o cantitate enormă de timp, bani și devotament pentru a o repara și a crea grădini extrem de frumoase. Celebrele sale grădini renascentiste includ o grădină de apă, grădini de flori ornamentale și grădini de legume. Grădinile sunt dispuse în modele formale create cu garduri vii joase de box. În 1934, Château de Villandry a fost desemnat Monument istoric. La fel ca toate celelalte castele din Valea Loarei, este un sit al Patrimoniului Mondial.
.