建武元年(公元25年)十月，劉秀定都洛陽。此時的長安，極度混亂，赤眉大軍擁立傀儡小皇帝劉盆子建立了建世政權，擁兵三十萬眾，進逼關中，更始遣諸將與赤眉大軍交戰，均大敗而歸，死傷甚重，三輔震動！不久，更始請降，獲封為長沙王，后為赤眉縊殺。劉秀聞綠林、赤眉兩大起義軍發生了火并，也派鄧禹西入關中，以觀時變，此間，三輔大饑，人相食，城郭皆空，白骨蔽野，赤眉數十萬大軍擁在長安，不日糧草即告匱乏，只得撤出長安西走隴右以補充糧草，結果為割據隴右的隗囂所敗，恰是嚴冬，“逢大雪，坑谷皆滿，士多凍死”，赤眉數十萬大軍只得東歸再次折回長安，并擊敗了進駐那里的鄧禹軍，迫使其退出長安，但此時的赤眉軍也遭受了極大的消耗。

鄧禹與赤眉數次交戰，并一度占據了長安，但最終又為赤眉所敗，不得不退出，見鄧禹的西征軍不利，劉秀遣馮異前往關中，代替鄧禹指揮西征大軍，馮異到后，鄧禹聯合馮異部與赤眉再戰，結果大敗，馮異只率少數人棄馬步行才得脫身歸營，而鄧禹則敗走宜陽，馮異收攏歸散的部下，堅壁清野，待機再戰。

不久，馮異軍與赤眉再次大戰于崤底(今河南澠池西南)，雙方均傾眾而出，一直大戰到太陽偏西，在此之前，馮異提前選精壯之士換上與赤眉軍一樣的裝束，伏于道路兩側，此時見雙方皆已力衰，伏兵殺出，赤眉大軍驚潰大敗，被馮異迫降者八萬余人。

崤底之戰，使得赤眉軍再遭重創，加之糧草已盡，不得已再次轉向東南方，力圖補充糧草和人馬，擺脫困境，早在崤底之戰前，劉秀鑒于關中大饑，人相食而隗囂的重兵又陳于西方的局面，料赤眉必向東或南方向運動，遂遣破奸將軍侯進等屯新安(今河南澠池東)，建威大將軍耿弇屯宜陽(今河南宜陽西)，在東、南兩個方向堵截赤眉東歸或南下之路。

不久，劉秀得知馮異在崤底大破赤眉，而赤眉軍主力十多萬眾南下走宜陽，劉秀親自引大軍馳援宜陽一線，與耿弇等人會合，共同阻擊赤眉南下，劉秀親率六軍，于宜陽前線將大軍擺開陣勢，大司馬吳漢精兵于最前，中軍在其后，驍騎兵和帶甲武士分陳于左右兩側。

赤眉大軍兵士疲敝，糧草缺乏，士氣低落到了極點，自崤底失敗后一路從關中折向南，至宜陽，正迎面撞上劉秀布下的重兵，兵困糧乏的赤眉軍根本無力再戰，而后面又有馮異的大軍，再回關中已無可能，在已陷入絕境的情況下，尚有十幾萬兵馬的赤眉大軍無奈在宜陽被迫請降，并向劉秀呈上了得自更始帝之處傳國玉璽和更始的七尺寶劍。

赤眉降后，上繳的兵器和甲胄堆放在宜陽的城西，與旁邊的熊耳山(山名，因似熊耳而得名，在宜陽以東)一樣高，至此，起自新莽天鳳五年，縱橫山東十余年的赤眉軍被劉秀扼殺在了血泊之中。

在與赤眉軍在關中激戰的同時，劉秀在關東(即函谷關以東)一線亦派遣以虎牙將軍蓋延為首的諸將對梁王劉永進行了東征。劉永，西漢梁孝王劉武的八世孫，其家世代為梁王，據梁地，故在梁地素有威名，聲望極大，王莽攝政之時，其父梁王劉立因結連平帝外家衛氏，被王莽所殺，更始帝立，劉永復被冊封為梁王，據舊地。

后更始政亂，劉永遂據國起兵，以其弟劉防為輔國大將軍，招攬沛人周建等豪杰為其將帥，攻下齊陰、山陰、沛、楚、淮陽、汝南等二十八城，并遣使拜董憲為翼漢大將軍(后又封海西王)、張歩輔漢大將軍(后又封齊王)，與共連兵，遂專據東方，更始敗亡之后，劉永自稱天子，在睢陽登基。

對于劉秀來說，近在東方睢陽的劉永是對其威脅最大的軍事集團，劉永所在的睢陽距洛陽近在咫尺，時刻威脅著京師洛陽的安全，自建武二年始，劉秀先后派虎牙將軍蓋延和建威大將軍耿弇分別平定了割據睢陽的劉永和青州的張歩，特別是耿弇與齊王張歩的戰斗，極為慘烈，“城中溝塹皆滿，八九十里僵尸相屬”，此間，劉秀還親征海西王董憲，大獲全勝，到建武六年初，關東基本上為劉秀所定。