Jesse a jeho brat Franklin (Frank) James boli vzdelaní a pochádzali z prestížnej rodiny farmárov. Ich otec, reverend Robert James, bol [[baptizmus|baptista]], ktorý si vzal Zereldu Colea Jamesovú a v roku [[1842]] sa odsťahoval z [[Kentucky]] do Missouri. V lete [[1863]] bola ich [[Farma (gazdovstvo)|farma]] brutálne napadnutá unionistickými vojakmi.
V roku [[1874]] sa Jesse oženil so svojou dlhoročnou láskou, sesternicou Zereldou Mimmsovou a spolu mali dve deti. Obaja bratia Jamesovci boli známi ako dobrí, rodinne založení muži, ktorí milovali svoje manželky a trávili čas so svojimi deťmi, no naďalej pokračovali v trestnej činnosti.
Dokonca aj po tom, ako ostatní členovia gangu boli zabití a ich priateľ Younger bol poslaný do väzenia na 25 rokov. V roku [[1879]], bratia Jamesovci plánovali ešte jednu lúpež s Charliem a Bobom Fordom. Guvernér Crittenden z Missouri zozbieral veľkú odmenu. Fordovci sa rozhodli zradou si zarobiť.