Nejstarší syn Johanny (rozené Hertingové) a Johna A. Roeblinga se narodil v roce 1837 ve městě Saxonburg v Pensylvánii, které spoluzaložil jeho otec a strýc Carl Roebling. Jeho rané školní vzdělání spočívalo v doučování u Riedela a u Hennea v Pittsburghu. Byl poslán na pobyt k profesoru Lemuelu Stephensovi ze Západní univerzity v Pensylvánii (dnes známé jako Pittsburská univerzita), kde Roebling také navštěvoval některé přednášky. Roebling nakonec navštěvoval Trentonskou akademii a v letech 1854 až 1857 získal vyšší technické vzdělání na Rensselaerově polytechnickém institutu v Troji ve státě New York. Napsal diplomovou práci s názvem „Design for a Suspension Aqueduct.“
Po absolvování studia jako stavební inženýr (C.E.) nastoupil Roebling ke svému otci, aby pracoval jako stavitel mostů. V letech 1858 až 1860 pomáhal svému otci na projektu Sixth Street Bridge, který měl nahradit starší most přes řeku Allegheny. V tomto období bydlel v penzionu na Penn Street. Po dokončení mostu se Roebling vrátil do Trentonu, kde pracoval v otcově drátovně.
16. dubna 1861, krátce po začátku americké občanské války, Roebling narukoval jako vojín do newjerseyské domobrany. Protože hledal něco víc než jen posádkovou službu, po dvou měsících rezignoval a znovu se přihlásil k newyorské dělostřelecké baterii: K, 83. newyorské dobrovolnické roty. Vykonával štábní službu při stavbě visutých mostů pro zajištění přesunu vojsk. Postupně stoupal v hodnostech a brzy byl jmenován podporučíkem.
Roebling se zúčastnil mnoha bitev: V bitvách u Manassas Junction (druhý Bull Run), Antietam, Chancellorsville, Wilderness, při obléhání Petrohradu a především v bitvě u Gettysburgu. Brzy po bitvě u Chancellorsville byl pravděpodobně prvním, kdo při průzkumu pomocí leteckého balónu zaznamenal pohyb konfederační armády Roberta E. Lee směrem na severozápad.
2. července 1863 během bitvy u Gettysburgu byl Roebling jedním z prvních důstojníků Unie na Little Round Top. Když zpozoroval známky blížících se konfederačních vojsk, spěchal z kopce, aby podal hlášení brigádnímu generálovi Gouverneuru K. Warrenovi, jehož byl Roebling pobočníkem. Generál Warren a Roebling sestoupili dále, aby našli vojáky k zajištění této důležité taktické pozice. Roebling pomohl vytáhnout na kopec dělostřelectvo, zatímco Warren poslal dva své pobočníky, včetně poručíka Ranalda S. Mackenzieho, aby vyhledali podporu pěchoty. Oba pomocníci zajistili brigádu z V. sboru Unie. Brigáda pod velením plukovníka Stronga Vincenta okamžitě obsadila kopec a bránila levé křídlo Potomacké armády před opakovanými útoky Konfederace. Když se Vincentova brigáda začala přesouvat na pozice, Warren a Roebling kopec opustili. Roebling poslal na kopec 140. newyorskou dobrovolnickou jednotku, aniž by věděl, že Vincentova brigáda se již střetává s předsunutými jednotkami Konfederace. 140. newyorská jednotka poskytla tolik potřebné posily.
Roebling byl v prosinci 1864 za statečnou službu jmenován podplukovníkem. Svoji službu ukončil brevetováním na plukovníka. Po válce se stal veteránským společníkem Vojenského řádu věrné legie Spojených států amerických.