漢武帝和鉤弋夫人的兒子劉弗陵出生的那一年，太子35歲，趙人江充被任命為直指繡衣使者。

江充原本是趙國邯鄲的市井無賴，年輕時他將自己的妹妹嫁給趙國太子劉丹而成為趙王的座上客。后來又與趙太子劉丹產生矛盾，父兄因此被殺，他僥幸逃脫，更名為江充，來到京城狀告劉丹，指責他與姐妹淫亂，勾結當地盜匪危害一方。盡管趙敬肅王為兒子辯護說，江充虛偽陰險，他激怒皇上的目的是為了報復私怨。但是，對劉姓諸侯王限制極嚴的漢武帝還是根據江充的舉報立下殺手，趙國太子因此獲罪死于獄中。

漢武帝很欣賞江充以平民狀告趙王太子的勇氣，決定召見他。江充請求自己穿平時的衣服來見皇上，武帝答應了。江充就穿著帶皺的輕紗做的衣服，戴著輕紗做的帽子進宮來。那帽子上面有鳥羽毛做的帽纓，走路的時候帽纓就隨著步子而搖擺，十分好看。漢武帝看到江充身材魁梧，相貌堂堂，覺得很驚奇，說：“燕趙之地果然多奇人異士呀。”

武帝召見的時候，江充回答得很得體，武帝問他想討什么差使，他情愿出使匈奴，去刺探匈奴的情況。漢武帝一生最大的心愿就是打擊匈奴，江充的回答博得了他的好感。武帝問江充：“你到了匈奴打算怎么辦呢？”江充說：“那要根據實際情況來制定行動的計劃，不能預先決定。”漢武帝覺得江充是一個講實話的老實人，于是任命他為出使匈奴的使者。江充在匈奴活動了將近一年后，回到漢朝就開始受到重用，擔任了直指繡衣使者，這一官職的主要職責是負責紀檢和監察，擔任這個職位的官員，身穿繡衣，持節發兵，有權代表皇帝誅殺違法的朝廷官員。

這樣江充通過成為漢武帝特務機關的頭目，他的監督職責直接延伸到了皇親國戚，對任何違背禮制、奢侈不法的行為均有權參劾處置。

江充做事之前先揣摩漢武帝的心思，所以他每次做的事都是漢武帝想做的。江充檢舉彈劾，無所顧忌，迫令犯法的貴族們發配到遙遠的北方去戍邊。這些人自己掂量吃不了那個苦，于是決定拿錢贖罪。漢武帝通過這種辦法搞到不少錢作為出征匈奴的軍費，覺得江充很忠心，對他更加信任。

江充的性格特點是不怕硬碰硬，這一點很受漢武帝的喜歡。有一次，江充外出辦事，在路上碰見武帝的姑姑館陶公主劉嫖的馬車在皇帝專用的弛道上行使，江充馬上要查辦他們。弛道有點像現在的鐵路，高而結實的路基上鋪上短木條，有固定的軌道，只不過不是走火車而是用來走馬車。秦始皇的時候就修筑了不少弛道，一般是天子專用。面對江充的為難，館陶公主辯解說：“我有太后的詔命批準。”江充就說：“那只有公主可以走，車騎都不行。”事情的最終結果是，江充硬是把公主的車騎全部沒收充公。

江充和太子結怨也是因為同樣的原因。江充跟漢武帝去甘泉宮，在前面開道，正碰上劉據派往宮中的使者坐車在弛道上奔馳。江充看到太子的手下在天子專用的弛道上，二話沒說就令人將車馬扣留，并將太子的使者逮捕，準備交付審判。

太子劉據得到這個消息后大驚失色，他急忙親自去向江充道歉說：“我不是愛惜我的手下，只是請不要讓皇上知道，認為我平時對手下管束不嚴，因此，敬請先生手下留情，饒過這一回。”

江充對太子的請求置之不理，把這件事情報告給了漢武帝。漢武帝夸獎說：“為人臣子，理當如此。”于是，漢武帝對于江充加倍重用，弄得整個京城都知道有這樣一個惹不得的人物。