元封五年(前106年)，大將軍衛(wèi)青病逝，謚號(hào)為烈侯。在上古文獻(xiàn)中“烈”是光明、顯赫，有宏偉、浩大之意。以此表彰了衛(wèi)青軍功卓越、不平凡的人生之旅。

衛(wèi)青對(duì)衛(wèi)氏家族，乃至太子(衛(wèi)青的外甥)的命運(yùn)都有著重大影響。衛(wèi)青走過(guò)了一條上升、圓滿的人生軌跡，然而，他的后代卻沒(méi)有能繼承他的功業(yè)，也沒(méi)有能繼續(xù)他的輝煌人生經(jīng)歷。

據(jù)《史記·衛(wèi)將軍驃騎列傳》記述，衛(wèi)青有三個(gè)兒子：衛(wèi)伉，衛(wèi)不疑和衛(wèi)登。衛(wèi)青在漠南打敗右賢王之后，漢武帝為表示對(duì)衛(wèi)青的特殊嘉獎(jiǎng)，冊(cè)封了這三個(gè)尚為孩童或在襁褓之中的幼子。衛(wèi)伉被封為宜春侯，衛(wèi)不疑被封為陰安侯，衛(wèi)登被封為發(fā)干侯。最早，衛(wèi)伉犯法而丟掉了宜春侯爵位，因衛(wèi)青娶了武帝的姐姐平陽(yáng)公主，衛(wèi)青去世，衛(wèi)伉才能繼承衛(wèi)青的封國(guó)，繼續(xù)做了長(zhǎng)平侯。6年之后，衛(wèi)伉犯法而失去了這個(gè)爵位。衛(wèi)不疑和衛(wèi)登都因交供宗廟祭祀用的金子不合格，丟了爵位。衛(wèi)青的后代雖然生來(lái)富貴，但由于沒(méi)有建立功業(yè)，從而沒(méi)有能力保持高貴的社會(huì)地位。

《資治通鑒》卷二二記述了漢武帝與衛(wèi)青、太子之間的故事。當(dāng)初，漢武帝在29歲時(shí)才生了太子，這是武帝第一個(gè)兒子，自然非常喜愛。隨著太子一天天長(zhǎng)大，武帝觀察到太子個(gè)性仁慈寬厚、謙和，似乎沒(méi)有自己那樣精明強(qiáng)干，因此感覺有些遺憾和失望。后來(lái)，武帝的其他幾位夫人陸續(xù)為他生劉閎、劉旦、劉胥和劉髆幾個(gè)皇子。

皇后和太子覺察武帝對(duì)他們母子的逐漸疏遠(yuǎn)，開始常常陷入惶恐不安之中。武帝知道后，讓衛(wèi)青向皇后、太子轉(zhuǎn)達(dá)：我朝很多大事都還處于草創(chuàng)之中，周邊外族對(duì)我們侵略不斷，朕不得不對(duì)內(nèi)厲行改革，對(duì)外大力征伐;否則后代子孫治理政務(wù)沒(méi)有法度可以遵循，國(guó)家也沒(méi)有真正的太平局面。因此，朕在位期間百姓十分勞苦，但是，后代子孫繼續(xù)像朕這樣做，就等于重蹈了亡秦的覆轍。太子性格沉穩(wěn)仁厚，這正是守成之君所必須具備的品格，保持國(guó)家的穩(wěn)定與安寧沒(méi)有人能勝過(guò)太子了！聽說(shuō)皇后和太子有不安之意，請(qǐng)你把朕的意思轉(zhuǎn)告給他們。

武帝特意請(qǐng)衛(wèi)青做中間人，顯然是有深意的。與其說(shuō)，他這些話是在安慰皇后、太子，不如說(shuō)，他主要是為安慰自己這位戰(zhàn)無(wú)不勝的大將軍。這位在戰(zhàn)場(chǎng)上敵人不可戰(zhàn)勝的大將軍，是西漢以強(qiáng)盛帝國(guó)的姿態(tài)屹立于世界東方的重要因素。

以武帝的雄才大略面對(duì)仁弱的太子自然是不滿意的，他在安慰太子的同時(shí)，似乎也在安慰、說(shuō)服自己，也許有衛(wèi)青的輔佐與支持，太子可以擔(dān)負(fù)得起自己身后的這大片錦繡河山的安寧與穩(wěn)定。

然而，天不假年，威名赫赫的大將軍在五十歲左右就逝世了。在衛(wèi)青去世之后，朝中的奸佞大臣看到太子失去了這個(gè)堅(jiān)強(qiáng)的后盾，開始肆無(wú)忌憚地陷害太子了。太子被迫起兵自衛(wèi)，后來(lái)兵敗自殺。

衛(wèi)青在世的時(shí)候，連漢武帝都主動(dòng)維護(hù)太子以安定大將軍之心，其他人更不敢構(gòu)陷衛(wèi)家和太子。衛(wèi)青封侯之后，衛(wèi)氏家族開始興起，衛(wèi)家有5人封侯。然而僅僅維持了24年，5個(gè)侯爵被剝奪，衛(wèi)氏家族再也沒(méi)有封侯的了。到了征和年間，太子兵敗自殺，衛(wèi)氏家族也基本覆滅了。