En 1929 la pasión de Ladew por la caza del zorro le llevó a visitar la parte de Maryland al norte de Baltimore. Dejando su casa en Long Island, compró la «Granja Pleasant Valley» de 250 acres (101 ha) situada en Monkton. En el momento de la compra, la casa de la propiedad estaba en un estado ruinoso. Ladew se embarcó en un amplio proyecto de restauración, reconstruyendo secciones de la casa e incluyendo accesorios modernos. Tal y como fue reconstruida, llegaría a tener 15 habitaciones, incluyendo una biblioteca ovalada llamada «una de las 100 habitaciones más bellas de América».
En 1937 la casa estaba prácticamente terminada, y Ladew se dedicó a los terrenos. Había descubierto el arte de la topiaria en Inglaterra en la década de 1920, cuando vio una escena de caza recortada encima de un seto en Gloucestershire. Gracias a sus viajes a Inglaterra e Italia, sabía qué tipo de jardín quería. Debía tener dos ejes transversales para permitir las largas vistas que había visto en los jardines italianos con «salas de jardín» fuera de cada eje. Los ejes se unen en la piscina ovalada de Ladew, situada en el centro del Gran Tazón. Diseñó topiarios que representaban un zorro y unos sabuesos, un junco chino con velas, cisnes y una jirafa, entre otros.
Esta transformación de 22 acres (89.000 m²) de campos que antes se utilizaban para cultivos y ganado en jardines hizo que la granja Pleasant Valley fuera descrita como «el jardín topiario más destacado de América», por el Garden Club of America. Más tarde, The New York Times lo proclamó como una «exquisita finca ajardinada».
Ladew estaba decidido a preservar su jardín para todos, por lo que estableció los Ladew Topiary Gardens, Inc, una organización sin ánimo de lucro cuya misión es «mantener y promover los jardines, la casa y las instalaciones de acuerdo con el espíritu creativo de Harvey S. Ladew para el beneficio público y para fines educativos, científicos y culturales.» La casa, los jardines y los terrenos se abrieron al público en 1971, acogiendo varios eventos al año.