Vis dėlto tik nedaugelis žino, jog už užvertų durų Joe gyveno didžiulėmis tragedijomis pažymėtą gyvenimą.
1966-aisiais politikas vedė savo pirmąją žmoną Neilią Hunter, su kuria netrukus susilaukė 3 vaikų – berniukų Beau ir Hunterio bei dukros Naomi.
Tačiau iškart po pirmojo Naomi gimtadienio įvyko tragedija. Pasiėmusi dukrelę su savimi, Neilia išvyko apsipirkti Kalėdoms. Deja, pakeliui abi jos pakliuvo į avariją, kurioje tragiškai žuvo. Joe liko vienas auginti dviejų savo sūnų – Beau, kuriam tuo metu buvo 3 metai, ir Hunterio, kuriam buvo 4-eri.
1977-aisiais Joe vedė darkart. Šįkart jo žmona tapo Jill. Porą suvedė artimas jų draugas, o praėjus 2 metams po pažinties, įvyko ir vestuvės. Pora iškart vienas su kitu pajautė ypatingą ryšį, tačiau Joe piršosi net 5 kartus, kol Jill galiausiai pasakė lemtingąjį „taip“.
Jill anksčiau taip pat buvo ištekėjusi, tačiau sulaukusi 24 metų, jau buvo išgyvenusi ir skyrybas, tad nuspręsdama tekėti už Joe ji norėjo, kad jų santykiai būtų patikrinti laiko. Dar anksčiau moteris yra sakiusi, kad norėjo būti visu 100 procentų įsitikinusi, kad kai ištekės už Joe, juos išskirs tik mirtis, mat ji nenorėjo, kad politiko sūnūs prarastų dar vieną motiną.
Ir nors Joe sūnus Jill augino taip, tarsi savus, pora susilaukė ir bendro savo vaiko – dukros Ashley.
Netrukus po to Jill taip pat atrado save politikoje ir dirbo su Obamomis.
Joe sūnus Beau pasuko kiek kita linkme – tapo teisininku. Tiesa, jo gyvenimas, nors ir pažymėtas ne vienu apdovanojimu ir pasiekimu, taip pat buvo sunkus. 2010-aisiais jis patyrė insultą, o po kelių metų jam vėžio centre pašalintas mažas auglys. Tačiau 2015-aisiais – ir vėl įvyko tragedija. Praėjus vos 10 dienų po to, kai buvo paleistas iš ligoninės, Beau mirė nuo smegenų vėžio.
„Kai mūsų sunus Beau mirė nuo vėžio, galvojau, ar kada nors dar galėsiu šypsotis bei jausti džiaugsmą. Buvo vasara, tačiau jokios šilumos nejaučiau. Praėjus 4 dienoms po Beau laidotuvių, mačiau, kaip Joe nusiskuto ir apsivilko kostiumą. Mačiau, kaip jis žiūri į save veidrodyje, įkvepia ir išeina į pasaulį be mūsų sūnaus. Jis grįžo į darbą. Paprasčiausiai jis toks yra“, – neseniai apie savo vyrą kalbėjo Jill.
Kitas Joe sūnus Hunteris dirba advokatu. Vis dėlto apie Hunterį visais laikais sklandė pačios įvairiausios kalbos. Jis kentėjo nuo priklausomybės narkotinėms medžiagoms, o taip pat jo asmenybė visuomet įvardinama kaip itin audringa.
Kalbėdamas apie savo tėvą, Hunteris yra pasakęs: „Aš jo atsiprašau, o jis man atsako, kad tai jis turėtų būti tas, kuris manęs atsiprašo. Tada mes turime ilgą diskusiją apie tai, kuris atsiprašyti turėtų labiau.“
Hunteris yra kalbėjęs ir apie savo priklausomybes. „Supraskite, visi susiduria su skausmu. Visi turi traumų. Priklausomybių yra kiekvienoje šeimoje. Aš buvau tamsoje. Tai buvo tarsi niekuomet nesibaigiantis tunelis. Tačiau to pavyksta atsikratyti. Suprati, kaip su tuo tvarkytis“, – sakė jis.
Tiesa, ne ką mažiau dėmesio pritraukė ir Hunterio asmeninis gyvenimas, mat po brolio laidotuvių, tarp jo ir jo žmonos našlės įsiplieskė romanas. „Mes jautėme ypatingą skausmą. Aš ėmiau galvoti apie Hallie taip, kaip apie vienintelį žmogų savo gyvenime, kuris suprato mano skausmą“, – kalbėjo jis.
Hunteris ir Hallie 2019-aisiais išsiskyrė, o netrukus po to, tais pačiais metais, Hunteris vedė Melissą Cohen.