V roce 1929 přivedla Ladewa jeho vášeň pro lov lišek do části Marylandu severně od Baltimoru. Opustil svůj domov na Long Islandu a zakoupil farmu „Pleasant Valley Farm“ o rozloze 250 akrů (101 ha) nacházející se v Monktonu. V době koupě byl dům na pozemku v dezolátním stavu. Ladew se pustil do rozsáhlé rekonstrukce, přestavěl části domu a zařadil do něj moderní vybavení. V rekonstruované podobě měl mít nakonec 15 místností, včetně oválné knihovny označované za „jednu ze 100 nejkrásnějších místností v Americe“.
V roce 1937 byl dům z větší části dokončen a Ladew se zaměřil na pozemky. Umění topiary objevil ve 20. letech 20. století v Anglii, když na vrcholu živého plotu v hrabství Gloucestershire spatřil stříhanou loveckou scénu. Ze svých cest do Anglie a Itálie věděl, jakou zahradu chce. Měla mít dvě příčné osy, aby umožnila dlouhé výhledy, které viděl v italských zahradách se „zahradními místnostmi“ mimo každou osu. Osy se setkávají v Ladewově oválném bazénu umístěném uprostřed Velké mísy. Navrhl topiary zobrazující mimo jiné lišku a psy, čínskou džunku s plachtami, labutě a žirafu.
Tato proměna 22 akrů (89 000 m²) polí dříve využívaných pro pěstování plodin a chov dobytka v zahrady vedla k tomu, že americký Garden Club of America označil Pleasant Valley Farm za „nejvýraznější topiary garden v Americe“. Později ji deník The New York Times prohlásil za „vynikající zahradní sídlo“.
Ladew byl odhodlán zachovat svou zahradu pro všechny, a proto založil neziskovou organizaci Ladew Topiary Gardens, Inc, jejímž posláním je „udržovat a propagovat zahrady, dům a zařízení v souladu s tvůrčím duchem Harveyho S. Ladewa ve prospěch veřejnosti a pro vzdělávací, vědecké a kulturní účely“. Dům, zahrady a pozemky byly zpřístupněny veřejnosti v roce 1971 a každoročně se zde koná několik akcí.