As terras onde outrora esteve uma antiga fortaleza foram conhecidas como Columbine até ao século XVII. Elas foram adquiridas no início do século XVI por Jean Le Breton, o Controlador-Geral de Guerra da França sob o reinado do rei Francisco I, e um novo castelo foi construído em torno da guarida original do século XIV onde o rei Filipe II da França uma vez se encontrou com Richard I da Inglaterra para discutir a paz.
O castelo permaneceu na família Le Breton por mais de dois séculos até ser adquirido pelo Marquês de Castellane. Durante a Revolução Francesa a propriedade foi confiscada e no início do século XIX, o Imperador Napoleão adquiriu-a para seu irmão Jérôme Bonaparte.
Em 1906, Joachim Carvallo comprou a propriedade e dedicou uma enorme quantidade de tempo, dinheiro e devoção para repará-la e criar jardins extremamente bonitos. Seus famosos jardins renascentistas incluem um jardim aquático, jardins de flores ornamentais e jardins de hortaliças. Os jardins são dispostos em padrões formais criados com sebes de caixa baixa. Em 1934, o Château de Villandry foi designado Monument historique. Como todos os outros castelos do Vale do Loire, é um Património Mundial.