1905年日俄戰(zhàn)爭后，日本強占了中國的遼東半島和南滿鐵路。不久，日本將遼東半島改名為關(guān)東州，在旅順設(shè)立關(guān)東都督府，下設(shè)民政部和陸軍部。1919年在關(guān)東都督府陸軍部的基礎(chǔ)上，在旅順口設(shè)關(guān)東軍司令部。俄國在日俄戰(zhàn)爭中戰(zhàn)敗后，根據(jù)《樸次茅斯和約》將關(guān)東州(中國遼南旅大地區(qū))的租借權(quán)和南滿鐵路轉(zhuǎn)讓給日本。日本為維護其殖民利益，派遣2個師4萬人的兵團進駐關(guān)東州及南滿鐵路附屬地，并設(shè)立關(guān)東總督府。次年，總督府改為都督府，下設(shè)陸軍部，轄1個陸軍師、6個獨立守備營、旅順重炮營和憲兵隊等。

20世紀上半葉，長期侵駐中國東北地區(qū)的日本陸軍重兵集團。1919年，都督府撤銷，改設(shè)關(guān)東廳，成立關(guān)東軍，首任司令立花小一郎，司令部設(shè)在旅順，直接隸屬于天皇。1926年進入昭和時代后，日本加緊推行侵略中國和準(zhǔn)備對蘇作戰(zhàn)的大陸政策。1928年，關(guān)東軍制造皇姑屯事件，炸死中國奉系軍閥首領(lǐng)張作霖。1931年策劃“九一八”事變，侵占中國東北全境。次年炮制偽滿洲國，司令部遷至長春，司令兼任日本駐“滿”大使和關(guān)東廳長官，掌握偽滿軍政大權(quán)。從此，關(guān)東軍對中國東北實行殖民統(tǒng)治，殘酷鎮(zhèn)壓中國抗日軍民，瘋狂掠奪糧食和礦產(chǎn)資源，把中國東北建成日本進一步侵略擴張的重要戰(zhàn)略基地。

1928年6月，關(guān)東軍制造“皇姑屯事件”。1931年9月18日，關(guān)東軍制造“柳條湖事件”，并以此為借口炮擊東北軍大營，發(fā)動了九一八事變，拉開了長達十四年的侵華戰(zhàn)爭的序幕。1932年3月，建立滿洲國。

1939年5月，滿洲軍隊跟蒙古軍隊在諾門罕發(fā)生小規(guī)模邊境沖突，後演化成為關(guān)東軍對蘇聯(lián)紅軍的正面對決。朱可夫指揮六個旅七萬名蘇聯(lián)遠東軍，以機械化部隊擊敗兩個師團約四萬名關(guān)東軍。一萬八千名日軍戰(zhàn)死或受傷。日本全國震動，平沼內(nèi)閣請辭。關(guān)東軍司令官植田謙吉及參謀長磯谷廉介被撤職。

1942年，太平洋戰(zhàn)爭開始後，關(guān)東軍主力逐漸被抽調(diào)至太平洋戰(zhàn)線。在1943年戰(zhàn)況逆轉(zhuǎn)後，不少關(guān)東軍在太平洋的島嶼上被殲滅。1945年8月，蘇聯(lián)紅軍出兵東北，關(guān)東軍被擊斃八萬三千人，被俘五十九萬四千人。戰(zhàn)后，余下的關(guān)東軍官兵作為俘虜被送到西伯利亞從事強制勞動。