A 17. századig Columbine néven ismerték azt a területet, ahol egykor egy ősi erőd állt. A 16. század elején Jean Le Breton, Franciaország I. Ferenc király alatti hadügyi főellenőrének birtokába került, és egy új kastélyt építettek az eredeti, 14. századi erődítmény köré, ahol II. Fülöp francia király egykor I. Richárd angol királlyal találkozott, hogy a békéről tárgyaljanak.
A kastély több mint két évszázadon át a Le Breton család tulajdonában maradt, amíg Castellane márki meg nem szerezte. A francia forradalom idején a birtokot elkobozták, majd a 19. század elején Napóleon császár megszerezte testvére, Jérôme Bonaparte számára.
1906-ban Joachim Carvallo vásárolta meg a birtokot, és rengeteg időt, pénzt és odaadást ölt a helyreállításába és a rendkívül szép kertek kialakításába. Híres reneszánsz kertjei közé tartozik egy vízi kert, díszes virágoskertek és zöldségeskertek. A kertek alacsony páholysövényekkel kialakított formális mintákban vannak elrendezve. 1934-ben a Château de Villandry-t történelmi emlékművé nyilvánították. A Loire-völgy többi kastélyához hasonlóan ez is a világörökség része.