Ziemie, na których kiedyś stała starożytna forteca, do XVII wieku znane były jako Columbine. Zostały one nabyte na początku XVI wieku przez Jeana Le Breton, francuskiego kontrolera generalnego ds. wojny za czasów króla Franciszka I, a nowy zamek został zbudowany wokół oryginalnego XIV-wiecznego zamku, w którym król Francji Filip II spotkał się z Ryszardem I w celu omówienia pokoju.
Zamek pozostał w rodzinie Le Breton przez ponad dwa stulecia, dopóki nie został nabyty przez markiza de Castellane. Podczas Rewolucji Francuskiej posiadłość została skonfiskowana, a na początku XIX wieku cesarz Napoleon nabył ją dla swojego brata Jérôme Bonaparte.
W 1906 roku Joachim Carvallo zakupił posiadłość i poświęcił ogromną ilość czasu, pieniędzy i oddania na jej remont i stworzenie niezwykle pięknych ogrodów. Jego słynne renesansowe ogrody zawierają ogród wodny, ozdobne ogrody kwiatowe i ogrody warzywne. Ogrody są ułożone w formalne wzory stworzone z niskimi żywopłotami skrzynkowymi. W 1934 roku Château de Villandry został uznany za Monument historique. Podobnie jak wszystkie inne zamki Doliny Loary, jest on wpisany na Listę Światowego Dziedzictwa UNESCO.