Den mark där en gammal fästning en gång stod var känd som Columbine fram till 1600-talet. De förvärvades i början av 1500-talet av Jean Le Breton, Frankrikes generalkrigskontrollant under kung Frans I, och ett nytt slott byggdes runt det ursprungliga tornet från 1300-talet där kung Filip II av Frankrike en gång träffade Richard I av England för att diskutera fred.
Slottet förblev i familjen Le Bretons ägo i mer än två århundraden tills det förvärvades av markisen de Castellane. Under den franska revolutionen konfiskerades egendomen och i början av 1800-talet förvärvade kejsar Napoleon den för sin bror Jérôme Bonaparte.
1906 köpte Joachim Carvallo egendomen och lade ner en enorm mängd tid, pengar och hängivenhet på att reparera den och anlägga extremt vackra trädgårdar. Dess berömda renässansträdgårdar omfattar en vattenträdgård, prydnadsblommeträdgårdar och grönsaksträdgårdar. Trädgårdarna är anlagda i formella mönster som skapats med låga buxbomshäckar. År 1934 utsågs Château de Villandry till Monument historique. Liksom alla andra slott i Loiredalen är det ett världsarv.