平定張氏兄弟以後，皇甫嵩以左車騎將軍的名號兼任冀州牧，爵位由原來的都鄉侯升爲槐裏侯，享受八千戶的租稅。在冀州牧任上，皇甫嵩考慮到朝廷與黃巾軍的激烈戰鬥給當地造成了巨大損耗，奏請免除冀州百姓一年的田租，得到皇帝批准。百姓感念他的恩德，紛紛傳唱這樣的歌謠：“天下大亂兮市爲墟，母不保子兮妻失夫，賴得皇甫兮復安居。”爲官一任，能得到這樣的美名，也算此生莫大的榮耀了。但在他人看來，皇甫嵩似乎可以走得更遠一些。
曾做過信都縣令的閻忠認爲，經過黃巾軍的折騰，劉家天下的實力已大不如前，況且朝廷內宦官當權，朝政混亂日甚一日，這正是改朝換代的絕好機會，而能夠完成這樁大事的人選，非皇甫嵩莫屬。他求見皇甫嵩，勸道：“將軍的機會來了，一定要抓住啊!否則，一世英名將毀於一旦。”皇甫嵩不知是真聰明還是假糊塗，一臉茫然地問道：“此話怎講?”閻忠說：“將軍掃滅黃巾，功高震主，在冀州又深得百姓愛戴，皇帝怕是容不下您啊!即便皇帝不懷疑您，他身邊的那羣宦官哪個不嫉妒您，他們天天說您的壞話，皇帝要是哪天聽信了，將軍的處境肯定危險。”皇甫嵩說：“我爲朝廷出生入死，對皇上忠心耿耿，我沒有什麼可擔心的。”閻忠提醒道：“此言差矣!將軍千萬不要忘記韓信的前車之鑑，當年劉、項紛爭之時，他倒向哪一方，哪一方就會勝，有人勸他順勢自立，三分天下至少可得其一，但他優柔寡斷，沒有抓住機會。結果呢?天下統一於劉姓後，因爲處處受到壓制，他又後悔跟着劉氏走了。可悔之晚矣，呂后一個婦人就能置他於死地。歷史的教訓不可不細細思量。”
除了指明皇甫嵩處境之險惡，閻忠還提出了改朝換代的基本策略。他建議皇甫嵩憑藉自己在軍民中建立的聲望，以冀州爲根據地，傳檄天下，託名誅除宦官，進兵洛陽，奪取朝廷控制權。然後就可以假借天命，逼迫皇帝禪位給皇甫氏。但皇甫嵩似乎從未有過此種念頭，聞聽閻忠一席話，他感覺很恐怖，說道：“非常之事須待非常之勢，建立新朝代，豈是平庸之人辦得到的?我這幾年能博得些微聲名，不過是因爲作戰對象乃黃巾烏合之衆而已，並不是自己的力量有多麼強大。冀州百姓雖然對我印象不錯，但我在此地時日不長，想讓他們爲我賣命，恐怕是不可能的。再說普天之下皆知當今皇帝姓劉，我若起事，在名份上就是叛逆，上天也不會保佑我的。我還是忠於朝廷，恪守臣子本分比較好。即便朝中有人陷害我，最多也就是解甲歸田，我好歹還有戰功和民望流傳後世，這我就很滿足了。你說的事，大逆不道，我聽着就後怕。”皇甫嵩既然不願背叛朝廷，閻忠的處境就很微妙了，他擔心萬一陰謀泄露，自己難免腦袋搬家，於是便離開了皇甫嵩。
在冀州僅僅呆了四個月，皇甫嵩又被派往關中鎮壓以邊章、韓遂爲首領的叛軍。這支叛軍來自金城郡(今甘肅、青海交界)，其中夾雜着不少羌人，戰鬥力較強。他們一路東進，日益迫近三輔地區。所謂三輔，是指西漢設立的拱衛都城長安的三個行政區，分別叫做京兆尹、左馮翊、右扶風，東漢沿用了這些行政設置。由於三輔是西漢皇帝陵墓所在地，而東漢開國之君劉秀又認爲自己打敗王莽是復興了漢家天下，因此，一直很注意對西漢帝陵的維護。金城叛軍逼近三輔，意味着皇家祖墳受到威脅。萬一祖墳被掘，那對皇帝來說，將會是奇恥大辱。爲守住三輔，維持朝廷的面子，皇帝便又想到了皇甫嵩。不過，關中戰事進行得很不順利，遲遲未能取得突破性戰果。
前線困局持續的同時，皇甫嵩還面臨着宮廷宦官趙忠、張讓的陷害。起初征討張氏兄弟時，皇甫嵩行軍經過鄴城，看到趙忠的私家宅院規模宏大，超越了禮制規定，便上奏朝廷，予以沒收。而張讓曾向皇甫嵩索要五千萬錢，遭到拒絕。因此，兩人對皇甫嵩恨之入骨。皇甫嵩在冀州時，由於是剛剛立下大功，並且很得民心，趙忠、張讓一時還抓不到他的小辮子。待到他進入關中平叛，連續數月不能報捷，趙、張二人迅速意識到泄憤的機會來了，向漢靈帝抱怨說：“皇甫嵩顯然不能勝任，已經幾個月了，浪費了朝廷這麼大財力，絲毫沒有進展。這樣的無能之輩，應當撤職查辦!”靈帝聽信了宦官的讒言，於185年7月命令皇甫嵩還朝，還免掉他的左車騎將軍名號，降爵爲都鄉侯，所享受的租稅也由原來的八千戶減爲兩千戶。
短短的九個月時間裏，皇甫嵩由剿滅黃巾的首功之臣被貶爲無能的將領。史書沒有明確告訴我們，皇甫嵩究竟是怎樣看待自己所遭遇的大起大落的，但際遇的轉變如此劇烈，對任何人來說都難免要經受一次巨大的心理落差，皇甫嵩的心情想必也好不到哪裏去。
