1927年4月，日本田中義一上臺后，向張作霖強索鐵路權，逼張解決所謂“滿蒙懸案”，從而激起了東北人民的反日怒潮。9月4日沈陽兩萬人示威游行，高呼“打倒田中內閣”。在全國反帝浪潮的沖擊下，以及張作霖本人的民族意識，奉系政府未能滿足日本在“滿蒙”筑路、開礦、設廠、租地、移民等全部要求，并有所抵制，這為日本內閣所不能容忍，日本關東軍則斷定東北人民的反日游行系張作霖煽動所致，對他恨之入骨。

1928年4月5日，蔣介石為了擴大自己的地盤在徐州誓師，對以張作霖為首的北方舊軍閥舉行“第二次北伐”。4月9日，第一集團軍發起全線進攻。4月30日，各路國民軍對濟南發起總攻。這天夜晚，張宗昌率殘部棄城北逃。5月下旬，國民軍已逼近京津地區。盤踞北京的“中華民國陸海軍大元帥”張作霖見大勢已去，在6月2日發出“出關通電”，宣布退出北京回東北。

這次張作霖回東北，日本提出了最后通牒，脅迫他同意日本的要求，張作霖卻仗著自己手里還有幾十萬軍隊，不肯松口。于是，日本關東軍決定在張作霖回東北的路上除掉這個眼中釘。當國民軍迫近京、津之時，日本“惟恐戰亂波及滿洲”，一面增兵青島，威脅南軍北進;一面按其“東方會議”的決策，對張作霖施加壓力，迫張及早離京。1928年5月18日，日本對交戰雙方發出警告，聲稱：“動亂行將波及京、津地方，而滿洲地方亦有蒙其影響之虞。夫滿蒙之治安維持，為帝國之所最重視，茍有紊亂該地之治安，......帝國政府為維持滿洲治安計，不得不取適宜且有效之措置。”在這“警告”發出的前后，日本加緊了逼張的活動：既催張退回東北，又乘機向張勒索“滿蒙”的權益。

1928年5月13日和15日，日本得寸進尺，要他“解決滿蒙諸懸案”。據《時事新報》揭露：當時日本曾向張“提出條件十款，其苛毒不忍言”。有人回憶：芳澤曾屢次逼張，要他履行所謂的“密約”。為逼張作霖退回東北，5月17日晚，日使芳澤會見張作霖，與張談至深夜。芳澤說：“大勢已經如此，為使戰亂不波及京、津，收拾軍隊撤回滿洲以維持滿洲治安，我想無論對中國國民還是對奉天派都是萬全之策。”張作霖聽后不悅，嚴詞拒絕。芳澤繼續追問說：“你們能打過北伐軍嗎？！”張作霖說：“若打不過他們，我們可以退回關外。”芳澤說：“恐怕未必回得去吧。”張作霖說：“關外是我們的家，愿意回去就回去，有什么不行呢？！”

芳澤見張作霖不上其圈套，就進一步采取威脅手段，從懷里掏出日本政府關于滿洲問題警告南北雙方的覺書。并向張作霖提出“滿蒙權益”的要求，逼張作霖答應。不僅如此，他又向張作霖威脅說：“張宗昌的兵在濟南殺死幾十名日本僑民，你對此應負一切責任。”這一連串的威逼，使張勃然大怒，由座上猛地站起來，把手里的翡翠嘴旱煙袋猛力地向地下一摔，搕成兩段，聲色俱厲地沖著芳澤說：“此事(指張宗昌殺日僑事)一無報告，二無調查，叫我負責，豈有此理！......”他說完之后，就扔下芳澤，怒氣沖沖地離開了客廳。三個多小時的會談就這樣結束了。

那時，張作霖本想“留在關內”，他對日本的逼迫行徑“非常不滿”。因而不但口頭上拒絕了芳澤的“勸告”，而且于1928年5月25日發表書面聲明，反對日本1928年5月18日的“警告”。日本見張作霖不聽擺布，對他繼續施加壓力，警告他：如果不聽勸告，失敗后想回東北，“日軍當解除其武裝”。同時，日本關東軍也“開赴沈陽、錦州、山海關等地，并將關東軍司令部由旅順遷至沈陽，在沈陽滿鐵借用地分設六大警備區，日僑也組織日勇千余，劍拔弩張”。在內外交迫下，張作霖不得不表示離京。在日本迫使張作霖退回東北的時候，奉系內部的“新派”，為便于和蔣、閻妥協，也勸張作霖離京。張作霖在答復中表示“東三省及京、津為中國領土，主權所在，不容漠視”，反對日本政府公然干涉中國內政。當時報刊報道說張作霖“有不得不出關的苦衷”：(一)張不離京，一切妥協和其他事均無從說起;(二)奉軍新派人物，均極盼張速去，以望與黨方合作“。同時，奉軍在軍事上節節失利，軍心早已動搖。

張學良、楊宇霆等亦“力勸老將回奉”。5月30日，張作霖召集張作相、孫傳芳、楊宇霆、張學良舉行會議，決定下總退卻令。6月1日下午，“邀外交團入府”，在懷仁堂與外交團告別。他在致詞中，以極悲痛的語句，向各國使團表示他的“討赤”立場。他說：“余為中國計世界計，始終矢志討赤，至保護外僑生命財產，即余在滿洲時......亦未嘗一日忘懷，今后仍然請各位放心。”6月2日，張作霖發表了“出關通電”，說明自己到北京“本為救國而來，今救國志愿未償，決不忍窮兵黷武。爰整飭所部退出京師。”張作霖雖通電“退出京師”，但決不甘心放棄既得的統治地位。在離京前(6月1日)，他命許蘭州將“安國軍大元帥”的印、旗、國務院的印信、外交部的重要檔案全部運往關外，并下令“一切重要命令，仍須由大元帥蓋印發表”，夢想“在關外龐然自大，一過其大元帥之癮”，企圖有朝一日卷土重來。