Jackson se bo v zgodovino zapisal kot nepopustljiva in grabežljiva očetovska figura, ki je vse do zadnjega poskušal izkoristiti talent svojih potomcev. Z ženo Katherine je imel kar deset otrok, Maureen ali"Rebbie"(1950), Sigmund ali"Jackie"(1951), Toriano ali"Tito"(1953), Jermaine (1954), La Toya (1956), Marlon (1957) z dvojčkom Brandonom, ki je umrl kmalu po rojstvu, Michael (1958), Steven Randall ali"Randy"(1961) ter Janet (1966), svoje sanje o boksarski karieri pa je ob tako velikem podmladku hitro zamenjal za monetiziranje talenta svojih otrok. 



V glasbene vode se je sprva podal sam, ko sta z bratom Lutthrom v 50. letih prejšnjega stoletja ustanovila glasbeno skupino The Falcons, a ta je le nekaj let zatem utonila v pozabo, zato je pričel kovati železo s svojimi sinovi. Tita, Jackieja in Jermaina je leta 1963 povezal v skupino The Jackson Brothers, tri leta pozneje pa v njo vključil še mlajša Marlona in Michaela ter jih preimenoval v The Jackson 5, skupino, ki je kmalu postala ena najbolj uspešnih R'n'B zasedb vseh časov. Jackson je bdel nad svojimi otroci kot manager, kasneje pa celo sam v številnih intervjujih priznal, da je otroke na disciplino, ki jo zahteva glasbena industrija, navajal s silo. Njegovo orožje je bilo bičanje s pasom, kralj popa pa je v dokumentarcu o svojem življenju za ITV leta 2003 razkril, da se je očeta tako bal, da je ob stiku z njim velikokrat bruhal. Spominjal se je tudi materinih krikov, ki se je bala za življenje svojih otrok v trenutkih, ko je neizprosnega Jacksona popadla jeza, če so se zmotili med petjem ali plesom. 



Michael je 79. leta očeta razrešil menedžerske funkcije, zapustil družinsko skupino in nadaljeval kariero solo, njegovi odločitvi so kmalu sledili tudi preostali bratje. Svojo pozornost je tiranski oče preusmeril na hčere Rebbie, La Toya in Janet in vodil njihove kariere, ker je bil preveč naporen, uraden in vzvišen pa so mu hrbet sčasoma obrnile tudi one. Poleg nasilja je bil tudi nezvest mož. Sam je priznal občasno varanje svoje žene, ki pa ga ni nikoli povsem zapustila. Svoj zakon sta večkrat prekinila z razhodi, a sta bila ob smrti sina Michaela leta 2009 spet skupaj. Eni izmed svojih ljubic Cheryl Terrell je naredil tudi otroka, hčerka Joh'Vonnie.  


Joe z ženo Katherine.


Jackson je do zadnjega zagovarjal svojo neizprosno vzgojo. Leta 2013 je v intervjuju za CNN razkril, da je le s trdo roko iz svojih otrok izvlekel tisto najboljše, zaradi česar so postali slavni in tako priljubljeni v širnem svetu. Svojo smrt je pred nekaj dnevi tudi simbolično napovedal. V nedeljo je namreč objavil tvit o zahajajoče soncu, ki je služil kot metafora ugašajočemu življenju. Videl sem že več sončnih zahodov, kot mi jih je preostalo. Sonce vzide, ko je čas, in če ti je všeč ali ne, sonce zaide, ko je čas, je zapisal. Njegova vnukinja in hči pokojnega Michaela Paris Jackson sicer dvomi v avtentičnost zapisa, kar je sporočila tudi na Twitterju in povedala, da dedkov račun najverjetneje upravlja neka druga oseba. 



Jacksonovo smrt je, prav tako na Twitterju, potrdil njegov vnuk in Titov sin Taj Jackson, saj je Joe večini družine pred smrtjo prepovedal obiske. Celo o njegovi bolezni in lokaciji njegovega zdravljenja do zadnjih dni njegovega življenja niso vedeli veliko. Šele 19. junija jih je umirajoč spustil k sebi, kar jih je močno prizadelo, je povedal eden izmed Jacksonovih sinov Jermaine.