由于指揮上的失誤，中國遠征軍第一次入緬作戰以失敗告終。4月30日，遠征軍長官部從瑞保撤至甘勃盧，集結于曼德勒地區的遠征軍各部均于當夜前轉移至伊洛瓦底江西岸。5月1日，曼德勒為日軍占領。

從東線包抄的日軍第56師團先頭部隊5月5日到達怒江西岸惠通橋附近。日軍第56師團搜索聯隊4月30日從臘戍出發，沿途擊退新29師在新維、貴街的堅強抵抗，5月3日攻占畹町，是夜復占八莫，8日再占密支那。中國遠征軍撤回國境的另一條主要通道被完全切斷。

由于形勢急轉直下，東路日軍已突進至遠征軍主力左側后。5月6日，長官部得知畹町、龍陵等地已經失守(當時因部隊尚在移動之中，通信不暢，尚不知八莫失守及日軍已抵怒江)，認為再按原定計劃撤退，將極為困難，因而史迪威和羅卓英決定將沿鐵路兩側向密支那撤退的第5軍等部隊改為向印度撤退，因此連續兩次電令第5軍。

據估計，這時在緬甸的遠征軍主力尚有第5軍軍直15000人、下屬新編第22師6000余人、第200師7000人、第96師5000余人，以及第66軍的新編第38師7000余人(杜聿明回憶錄數據有所不同)。但杜聿明出于對史迪威的惡感，不愿退入印度，仍希望率部返回國內。經向蔣介石請示，蔣同意仍由密支那方向撤至騰沖。第5軍遂按原計劃向密支那方向轉移。遠征軍司令部于7日開始從曼西撤退。史迪威帶中、美少數人徒步西行，于24日抵達印度丁蘇基，改乘飛機去新德里;羅卓英率長官部人員一面收容一面前進，于23日抵達印度英帕爾。

5月12日，第5軍各部抵達曼西，13日破壞了重型裝備，開始進入山區徒步轉進。此后，各師即失去掌握，各自行動。第五軍的部隊則不得不徒步在原始森林的“野人山”山區向胡康河谷的太洛等地前進。

按照杜聿明回憶錄的記載，進入野人山包括了第五軍部分軍直部隊、新22師、第96師部隊約2萬人，其中第96師(5000-6000人)作為后衛，進入野人山后獨立行進，并成功翻越高黎貢山返回國內。第200師與部分軍直部隊包括補訓處的補充1、2團等部則沿滇緬公路方向，從日軍封鎖線中間奪路回國。

緬甸北部，至今仍然是一個外人難以涉足的神秘世界。孟拱以北，山嶺縱橫，河流密布，幾乎所有溪流都匯入的一條長達400公里的河谷。這河谷從南向北幾乎延伸到喜馬拉雅山下，其中部有一個陡峭的峽口，將河谷分成兩段，南邊一段叫做孟拱河谷，雖環境艱苦，尚有人跡;北邊的一段，則完全沒有人煙，緬甸人把它叫做胡康河谷，也被稱為“野人山”。

由于杜聿明的猶豫不決，第五軍軍部和新22師“棄車上山”的時機也已經太遲，大約一萬余人的部隊在環境惡劣的野人山又碰上最糟糕的雨季。

當時，退入緬北森林的中國軍隊把旱季干涸的溪谷河道當做交通要道，但在雨季干涸的河流會由于上游降雨而猝發山洪，洪水來勢兇猛，蕩滌一切，轉瞬之間，人馬即無影無蹤。不僅如此，冰冷的雨還帶走了熱量，帶走了體溫，螞蝗成群結隊，循著人的氣息隨時襲來，無孔不入。

杜聿明部官兵在饑餓中以樹皮野草裹腹，并完全迷失方向，絕糧8日，賴空投地圖方于5月31日到達清加林長姆特，得到美軍空投的支援。此時，杜聿明不得不奉命改道進入印度，在空投糧藥的支援下，經新平洋于八月初撤到印度列多。此時，杜聿明率領的軍部和新22師僅生還官兵三千余人。