他是平陽公主府的女奴衛(wèi)少兒與平陽縣小吏霍仲孺的兒子，這位小吏不敢承認(rèn)自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。大約在霍去病剛滿周歲的時候，他的姨母衛(wèi)子夫進(jìn)入了漢武帝的后宮，懷孕后發(fā)生了館陶公主綁架且欲殺衛(wèi)青一事，事情敗露后衛(wèi)子夫并且很快被封為夫人，僅次于皇后。衛(wèi)青被任命為建章監(jiān)，與長兄衛(wèi)長君一起加官侍中，衛(wèi)氏家族從此改變了命運。

漢武帝劉徹是中國歷史上武功頗盛的帝王，而當(dāng)時的漢王朝，邊境不穩(wěn)，時常遭受匈奴人的侵?jǐn)_。作為游牧民族的匈奴，幾乎把農(nóng)耕為生的漢朝當(dāng)成了自己予取予求的庫房，燒殺擄掠無所不為。而面對這樣的局面，長城內(nèi)的國家卻從秦以來就無力從根本上改變，勝利的時候極少，秦只能寄希望于修筑長城進(jìn)行消極防御而漢朝卻以和親以及大量的“陪嫁”財物買來暫時的相對平安。

雄才大略的漢武帝希望改變這樣的形勢，而他很快就在身邊找到了和自己有志一同的人，他就是衛(wèi)子夫的弟弟，時任太中大夫的衛(wèi)青。

前130年(元光五年)，衛(wèi)青拜車騎將軍，和另三員將領(lǐng)各率一支軍隊出塞。在這一次出兵過程中，四路大軍出塞三路大敗，尤其離譜的是老將李廣竟然被匈奴所虜，好不容易才逃歸。反而是出身“騎奴”，第一次出塞領(lǐng)兵的衛(wèi)青，出上谷直搗匈奴祭天圣地龍城，斬敵七百。衛(wèi)青的軍事天才使?jié)h武帝刮目相看，他從此屢屢出征，戰(zhàn)果累累。

在衛(wèi)青建功立業(yè)的同時，霍去病也漸漸地長大了，在舅舅的影響下，他自幼精于騎射，雖然年少，卻不屑于像其它王孫公子那樣呆在長安城里放縱聲色享受長輩的蔭庇。他渴望殺敵立功的那一天。

前123年(元朔六年)，衛(wèi)青領(lǐng)軍二出定襄，史稱漠南之戰(zhàn)。十八歲的霍去病第二次跟從衛(wèi)青出征。衛(wèi)青任命霍去病為嫖姚校尉，帶領(lǐng)八百騎兵，做為一支奇兵脫離大軍在茫茫大漠里奔馳數(shù)百里奇襲匈奴，打擊匈奴的軟肋。此仗霍去病斬敵2028人，殺匈奴單于祖父，俘虜單于的國相及叔叔。漢武帝立即將他封為“冠軍侯”，贊嘆他的勇冠三軍。食邑二千五百戶。

前121年(元狩二年)的春天，19歲的霍去病被任命為驃騎將軍，獨自率領(lǐng)精兵一萬出征匈奴。統(tǒng)帥霍去病不負(fù)眾望，在千里大漠中閃電奔襲，打了一場漂亮的大迂回戰(zhàn)。六天中他轉(zhuǎn)戰(zhàn)匈奴五部落，一路猛進(jìn)，并在皋蘭山與匈奴盧侯王、折蘭王打了一場硬碰硬的生死戰(zhàn)。在此戰(zhàn)中，霍去病慘勝，一萬精兵僅余三千人。而匈奴更是損失慘重——盧侯王和折蘭王都戰(zhàn)死，渾邪王子及相國、都尉被俘虜，斬敵八千九百六十，匈奴休屠祭天金人也成了漢軍的戰(zhàn)利品。在這一場血與火的對戰(zhàn)之后，漢王朝中再也沒有人質(zhì)疑少年霍去病的統(tǒng)軍能力，他成為漢軍中的一代軍人楷模、尚武精神的化身。此戰(zhàn)后，漢武帝加封霍去病二千二百戶。