平定張氏兄弟以后，皇甫嵩以左車騎將軍的名號兼任冀州牧，爵位由原來的都鄉侯升為槐里侯，享受八千戶的租稅。在冀州牧任上，皇甫嵩考慮到朝廷與黃巾軍的激烈戰斗給當地造成了巨大損耗，奏請免除冀州百姓一年的田租，得到皇帝批準。百姓感念他的恩德，紛紛傳唱這樣的歌謠：“天下大亂兮市為墟，母不保子兮妻失夫，賴得皇甫兮復安居。”為官一任，能得到這樣的美名，也算此生莫大的榮耀了。但在他人看來，皇甫嵩似乎可以走得更遠一些。

曾做過信都縣令的閻忠認為，經過黃巾軍的折騰，劉家天下的實力已大不如前，況且朝廷內宦官當權，朝政混亂日甚一日，這正是改朝換代的絕好機會，而能夠完成這樁大事的人選，非皇甫嵩莫屬。他求見皇甫嵩，勸道：“將軍的機會來了，一定要抓住啊！否則，一世英名將毀于一旦。”皇甫嵩不知是真聰明還是假糊涂，一臉茫然地問道：“此話怎講？”閻忠說：“將軍掃滅黃巾，功高震主，在冀州又深得百姓愛戴，皇帝怕是容不下您啊！即便皇帝不懷疑您，他身邊的那群宦官哪個不嫉妒您，他們天天說您的壞話，皇帝要是哪天聽信了，將軍的處境肯定危險。”皇甫嵩說：“我為朝廷出生入死，對皇上忠心耿耿，我沒有什么可擔心的。”閻忠提醒道：“此言差矣！將軍千萬不要忘記韓信的前車之鑒，當年劉、項紛爭之時，他倒向哪一方，哪一方就會勝，有人勸他順勢自立，三分天下至少可得其一，但他優柔寡斷，沒有抓住機會。結果呢？天下統一于劉姓后，因為處處受到壓制，他又后悔跟著劉氏走了。可悔之晚矣，呂后一個婦人就能置他于死地。歷史的教訓不可不細細思量。”

除了指明皇甫嵩處境之險惡，閻忠還提出了改朝換代的基本策略。他建議皇甫嵩憑借自己在軍民中建立的聲望，以冀州為根據地，傳檄天下，托名誅除宦官，進兵洛陽，奪取朝廷控制權。然后就可以假借天命，逼迫皇帝禪位給皇甫氏。但皇甫嵩似乎從未有過此種念頭，聞聽閻忠一席話，他感覺很恐怖，說道：“非常之事須待非常之勢，建立新朝代，豈是平庸之人辦得到的？我這幾年能博得些微聲名，不過是因為作戰對象乃黃巾烏合之眾而已，并不是自己的力量有多么強大。冀州百姓雖然對我印象不錯，但我在此地時日不長，想讓他們為我賣命，恐怕是不可能的。再說普天之下皆知當今皇帝姓劉，我若起事，在名份上就是叛逆，上天也不會保佑我的。我還是忠于朝廷，恪守臣子本分比較好。即便朝中有人陷害我，最多也就是解甲歸田，我好歹還有戰功和民望流傳后世，這我就很滿足了。你說的事，大逆不道，我聽著就后怕。”皇甫嵩既然不愿背叛朝廷，閻忠的處境就很微妙了，他擔心萬一陰謀泄露，自己難免腦袋搬家，于是便離開了皇甫嵩。

在冀州僅僅呆了四個月，皇甫嵩又被派往關中鎮壓以邊章、韓遂為首領的叛軍。這支叛軍來自金城郡(今甘肅、青海交界)，其中夾雜著不少羌人，戰斗力較強。他們一路東進，日益迫近三輔地區。所謂三輔，是指西漢設立的拱衛都城長安的三個行政區，分別叫做京兆尹、左馮翊、右扶風，東漢沿用了這些行政設置。由于三輔是西漢皇帝陵墓所在地，而東漢開國之君劉秀又認為自己打敗王莽是復興了漢家天下，因此，一直很注意對西漢帝陵的維護。金城叛軍逼近三輔，意味著皇家祖墳受到威脅。萬一祖墳被掘，那對皇帝來說，將會是奇恥大辱。為守住三輔，維持朝廷的面子，皇帝便又想到了皇甫嵩。不過，關中戰事進行得很不順利，遲遲未能取得突破性戰果。

前線困局持續的同時，皇甫嵩還面臨著宮廷宦官趙忠、張讓的陷害。起初征討張氏兄弟時，皇甫嵩行軍經過鄴城，看到趙忠的私家宅院規模宏大，超越了禮制規定，便上奏朝廷，予以沒收。而張讓曾向皇甫嵩索要五千萬錢，遭到拒絕。因此，兩人對皇甫嵩恨之入骨。皇甫嵩在冀州時，由于是剛剛立下大功，并且很得民心，趙忠、張讓一時還抓不到他的小辮子。待到他進入關中平叛，連續數月不能報捷，趙、張二人迅速意識到泄憤的機會來了，向漢靈帝抱怨說：“皇甫嵩顯然不能勝任，已經幾個月了，浪費了朝廷這么大財力，絲毫沒有進展。這樣的無能之輩，應當撤職查辦！”靈帝聽信了宦官的讒言，于185年7月命令皇甫嵩還朝，還免掉他的左車騎將軍名號，降爵為都鄉侯，所享受的租稅也由原來的八千戶減為兩千戶。

短短的九個月時間里，皇甫嵩由剿滅黃巾的首功之臣被貶為無能的將領。史書沒有明確告訴我們，皇甫嵩究竟是怎樣看待自己所遭遇的大起大落的，但際遇的轉變如此劇烈，對任何人來說都難免要經受一次巨大的心理落差，皇甫嵩的心情想必也好不到哪里去。