1904年，斯大林與葉卡捷琳娜·斯瓦尼澤結婚，她是一個像他母親一樣虔誠的格魯吉亞姑娘，以做裁縫為生。他們的兒子雅可夫于次年3月23日來到人間。當時兩人都太窮，葉卡捷琳娜病倒后，斯大林沒錢為妻子看病，1907年她死于肺病。

安葬完妻子，斯大林很快就為革命四處奔走，把兒子留給祖父母養。斯大林幾乎整整15年沒怎么關心過他，這也導致雅可夫一直與父親感情淡漠。斯大林1919年再婚，第二任妻子娜杰日達對繼子還比較關心。她給過他這樣的評價：雖然很膽小，但惹惱了他，也會暴跳如雷的。

雅可夫22歲畢業于莫斯科工程技術學院，成為一名電子工程師。第一次婚姻隨著剛出生便夭折的女兒而破滅，后來在一次招待會上雅可夫看上了美麗的舞蹈演員朱麗亞。朱麗亞當時已是有夫之婦，但雅可夫拆散了他們的婚姻，1935年娶得美人歸。朱麗亞的前夫后來被秘密警察逮捕并槍決。1936年，女兒加林娜出生。

葉卡捷琳娜芳年早逝，或許也是一種幸運，幾十年后她免于看到自己家人的悲慘遭遇。1937年大清洗高潮期間，她的弟弟亞歷山大，曾是斯大林親密戰友，被六親不認的斯大林逮捕，并于1941年槍斃。他的妻子瑪麗亞和他的妹妹、也就是斯大林的妻妹瑪麗科，后來也被當局槍斃。

二戰期間，雅可夫成為蘇聯紅軍第14坦克師第14炮兵團某營營長。1941年初，蘇聯紅軍在斯摩棱斯克戰役中失利。同年7月，雅可夫被納粹軍隊俘虜，被關押在德國薩克森豪森集中營。德國后來提議由雅可夫交換被俘的德國陸軍元帥保羅斯，但斯大林回說：“我不能用元帥交換一個士兵。”雅可夫被俘不久，生性多疑的斯大林將兒媳朱麗亞也關進了監獄。

1943年4月13日，雅可夫死在戰俘營。他的死因流傳著各種不同的版本。一說他被德國黨衛隊特工謀殺。一說是雅可夫在集中營里堅貞不屈，繼續斗爭，和戰友一起壯烈犧牲。為此，蘇聯政府才追授他一級衛國勛章。另一說是自殺，因為斯大林曾講過，戰場上沒有戰俘，只有叛徒。有人說雅可夫在戰俘營里和波蘭戰俘交上朋友，當他得知“卡廷慘案”中蘇聯扮演的極不光彩角色后，徹底幻滅，再加上父親的拋棄，因此絕望自殺。

不過據最新解密的資料顯示，雅可夫更有可能是在越獄時被德國士兵開槍打死。雅可夫的女兒加林娜后來成為一名作家，許多年來她一直執著追尋父親的真正死因。2003年9月11日，加林娜得到來自美國助理國防部長杰寧斯親自移交來的檔案。檔案顯示，雅可夫在死亡集中營被關押期間表現得十分英勇，從未向納粹德軍表現出絲毫的妥協，更沒有投降。死亡通知書和現場報告等最原始的資料顯示，雅科夫是在準備逃離死亡集中營，眼看就要越過電網逃生時，被看守發現。哨卡上的重機槍接著瘋狂掃射，雅可夫當場被打死，身中至少15發子彈。

值得指出的是，德軍剛一投降，美英聯軍最高統帥部即已得知雅可夫死亡真相，但他們對此緘口不談，據說是“擔心這會給斯大林元帥帶來不必要的痛苦”。不管怎樣，斯大林至死也不知兒子雅可夫是怎樣死的。