Die Ländereien, auf denen einst eine alte Festung stand, waren bis zum 17. Jahrhundert als Columbine bekannt. Zu Beginn des 16. Jahrhunderts erwarb Jean Le Breton, Frankreichs Generalinspekteur für den Krieg unter König Franz I., die Ländereien und errichtete ein neues Schloss um den ursprünglichen Bergfried aus dem 14. Jahrhundert, in dem sich einst König Philipp II. von Frankreich mit Richard I. von England traf, um über den Frieden zu verhandeln.
Das Schloss blieb mehr als zwei Jahrhunderte lang im Besitz der Familie Le Breton, bis es vom Marquis de Castellane erworben wurde. Während der Französischen Revolution wurde das Anwesen beschlagnahmt, und Anfang des 19. Jahrhunderts erwarb Kaiser Napoleon es für seinen Bruder Jérôme Bonaparte.
Im Jahr 1906 erwarb Joachim Carvallo das Anwesen und investierte viel Zeit, Geld und Hingabe in die Instandsetzung und die Anlage wunderschöner Gärten. Zu den berühmten Renaissance-Gärten gehören ein Wassergarten, Zierblumengärten und Gemüsegärten. Die Gärten sind in formalen Mustern angelegt und mit niedrigen Buchsbaumhecken versehen. 1934 wurde das Château de Villandry zum Monument historique erklärt. Wie alle anderen Schlösser des Loire-Tals gehört es zum Weltkulturerbe.