Le terre dove un tempo sorgeva un’antica fortezza erano note come Columbine fino al XVII secolo. Furono acquistate all’inizio del XVI secolo da Jean Le Breton, controllore generale della guerra in Francia sotto il re Francesco I, e un nuovo castello fu costruito intorno al torrione originale del XIV secolo dove il re Filippo II di Francia una volta incontrò Riccardo I d’Inghilterra per discutere la pace.
Il castello rimase nella famiglia Le Breton per più di due secoli fino a quando fu acquistato dal marchese di Castellane. Durante la Rivoluzione francese la proprietà fu confiscata e all’inizio del XIX secolo, l’imperatore Napoleone la acquistò per suo fratello Jérôme Bonaparte.
Nel 1906, Joachim Carvallo acquistò la proprietà e versò un’enorme quantità di tempo, denaro e devozione per ripararla e creare giardini estremamente belli. I suoi famosi giardini rinascimentali includono un giardino acquatico, giardini di fiori ornamentali e orti. I giardini sono disposti in schemi formali creati con basse siepi di bosso. Nel 1934, lo Château de Villandry è stato designato come Monumento storico. Come tutti gli altri castelli della Valle della Loira, è un patrimonio mondiale.