Les terres où se dressait autrefois une ancienne forteresse étaient connues sous le nom de Colombine jusqu’au 17e siècle. Ils ont été acquis au début du XVIe siècle par Jean Le Breton, contrôleur général de la France pour la guerre sous le roi François Ier, et un nouveau château a été construit autour du donjon original du XIVe siècle où le roi Philippe II de France rencontrait autrefois Richard Ier d’Angleterre pour discuter de la paix.
Le château est resté dans la famille Le Breton pendant plus de deux siècles jusqu’à son acquisition par le marquis de Castellane. Pendant la Révolution française, la propriété a été confisquée et, au début du XIXe siècle, l’empereur Napoléon l’a acquise pour son frère Jérôme Bonaparte.
En 1906, Joachim Carvallo a acheté la propriété et a consacré énormément de temps, d’argent et de dévouement à sa réparation et à la création de jardins extrêmement beaux. Ses célèbres jardins Renaissance comprennent un jardin d’eau, des jardins de fleurs ornementales et des jardins potagers. Les jardins sont disposés selon des motifs formels créés par des haies de buis basses. En 1934, le Château de Villandry a été classé Monument historique. Comme tous les autres châteaux de la vallée de la Loire, il est inscrit au patrimoine mondial de l’humanité.