Het land waar ooit een oud fort stond, stond tot de 17e eeuw bekend als Columbine. Ze werden in het begin van de 16e eeuw gekocht door Jean Le Breton, de Franse generaal-controleur van de oorlog onder koning Frans I. Er werd een nieuw kasteel gebouwd rond de oorspronkelijke 14e-eeuwse donjon waar koning Filips II van Frankrijk ooit Richard I van Engeland ontmoette om vrede te bespreken.
Het kasteel bleef meer dan twee eeuwen in handen van de familie Le Breton tot het werd gekocht door de markies de Castellane. Tijdens de Franse Revolutie werd het landgoed geconfisqueerd en aan het begin van de 19e eeuw kocht keizer Napoleon het voor zijn broer Jérôme Bonaparte.
In 1906 kocht Joachim Carvallo het landgoed en stak er een enorme hoeveelheid tijd, geld en toewijding in om het op te knappen en uiterst fraaie tuinen aan te leggen. De beroemde renaissancetuinen omvatten een watertuin, sierbloementuinen en moestuinen. De tuinen zijn aangelegd in formele patronen gecreëerd met lage buxushagen. In 1934 werd het kasteel van Villandry uitgeroepen tot Historisch Monument. Net als alle andere kastelen in de Loire-vallei staat het op de Werelderfgoedlijst.