Los terrenos en los que se levantaba una antigua fortaleza fueron conocidos como Columbine hasta el siglo XVII. Fueron adquiridos a principios del siglo XVI por Jean Le Breton, interventor general de guerra de Francia bajo el reinado de Francisco I, y se construyó un nuevo castillo alrededor de la torre del homenaje original del siglo XIV, donde el rey Felipe II de Francia se reunió una vez con Ricardo I de Inglaterra para hablar de la paz.
El castillo permaneció en la familia Le Breton durante más de dos siglos hasta que fue adquirido por el marqués de Castellane. Durante la Revolución Francesa, la propiedad fue confiscada y, a principios del siglo XIX, el emperador Napoleón la adquirió para su hermano Jerónimo Bonaparte.
En 1906, Joachim Carvallo compró la propiedad y dedicó una enorme cantidad de tiempo, dinero y devoción a su reparación y a la creación de jardines de gran belleza. Sus famosos jardines renacentistas incluyen un jardín acuático, jardines de flores ornamentales y huertos. Los jardines están dispuestos en patrones formales creados con setos de boj bajos. En 1934, el castillo de Villandry fue declarado Monumento Histórico. Como todos los demás castillos del Valle del Loira, es Patrimonio de la Humanidad.