Území, kde kdysi stála starobylá pevnost, bylo až do 17. století známé jako Kolombína. Na počátku 16. století je získal Jean Le Breton, francouzský generální válečný kontrolor za krále Františka I., a kolem původní tvrze ze 14. století, kde se kdysi setkal francouzský král Filip II. s anglickým králem Richardem I., aby jednali o míru, byl postaven nový zámek.
Zámek zůstal v rodině Le Bretonů více než dvě století, dokud jej nezískal markýz de Castellane. Během Francouzské revoluce byl majetek zkonfiskován a na počátku 19. století jej získal císař Napoleon pro svého bratra Jérôma Bonaparta.
V roce 1906 koupil majetek Joachim Carvallo, který do jeho oprav a vytvoření mimořádně krásných zahrad vložil obrovské množství času, peněz a obětavosti. Jeho slavné renesanční zahrady zahrnují vodní zahradu, okrasné květinové zahrady a zeleninové zahrady. Zahrady jsou rozvrženy do formálních vzorů vytvořených nízkými truhlíkovými živými ploty. V roce 1934 byl zámek Château de Villandry vyhlášen historickou památkou. Stejně jako ostatní zámky v údolí Loiry je zapsán na seznamu světového dědictví UNESCO.