古代の要塞があったこの土地は、17世紀までコロンビーヌと呼ばれていました。 16世紀初頭、フランシス1世の下で戦争総監を務めたジャン・ル・ブルトンによって買収され、14世紀にフランス王フィリップ2世がイギリス王リチャード1世と和平交渉を行った天守閣の周りに新しい城が建てられました。
城はカステラーヌ侯に買収されるまで2世紀以上ル・ブルトン家に属していました。
1906年にジョアキム・カルヴァロが購入し、膨大な時間と費用、そして献身的な努力で修復を行い、非常に美しい庭園を作り上げました。 ルネサンス様式の庭園は、水庭、観賞用花壇、野菜畑などで有名です。 庭園は、低い箱型の生け垣で作られた形式的なパターンでレイアウトされている。 1934年、ヴィランドリー城は歴史的建造物に指定された。 ロワール渓谷の他の城と同様、世界遺産に登録されています
。