In 1929 bracht Ladew’s passie voor de vossenjacht hem naar het deel van Maryland ten noorden van Baltimore. Hij verliet zijn huis op Long Island en kocht de 101 ha grote “Pleasant Valley Farm” in Monkton. Ten tijde van de aankoop was het huis op het landgoed in een vervallen staat. Ladew begon aan een uitgebreid restauratieproject, waarbij delen van het huis werden herbouwd en voorzien van moderne armaturen. De reconstructie zou uiteindelijk 15 kamers opleveren, waaronder een ovale bibliotheek die “een van de 100 mooiste kamers van Amerika” werd genoemd.
In 1937 was het huis grotendeels voltooid en richtte Ladew zijn aandacht op het terrein. Hij had de kunst van het vormsnoeien ontdekt in Engeland in de jaren 1920 toen hij een geschoren jachttafereel zag boven op een heg in Gloucestershire. Van zijn reizen naar Engeland en Italië wist hij wat voor soort tuin hij wilde. Hij wilde een tuin met twee kruisende assen om de lange doorkijkjes mogelijk te maken die hij in Italiaanse tuinen had gezien, met “tuinkamers” naast elke as. De assen komen samen in Ladew’s ovale zwembad, geplaatst in het midden van de Grote Kom. Hij ontwierp topia’s van onder andere een vos met honden, een Chinese jonk met zeilen, zwanen en een giraffe.
Deze transformatie van 89.000 m² van velden die voorheen werden gebruikt voor gewassen en vee in tuinen leidde ertoe dat Pleasant Valley Farm werd omschreven als “de meest opmerkelijke topiary tuin in Amerika,” door de Garden Club of America. Later werd het door The New York Times uitgeroepen tot “exquisite garden estate”.
Ladew was vastbesloten zijn tuin voor iedereen te behouden en richtte daarom de Ladew Topiary Gardens, Inc. op, een non-profit organisatie met als missie “het onderhouden en bevorderen van de tuinen, het huis en de faciliteiten in overeenstemming met de creatieve geest van Harvey S. Ladew ten behoeve van het algemeen belang en voor educatieve, wetenschappelijke en culturele doeleinden”. Het huis, de tuinen en het terrein werden in 1971 opengesteld voor het publiek en er worden jaarlijks verschillende evenementen georganiseerd.