1927年4月，日本田中义一上台后，向张作霖强索铁路权，逼张解决所谓“满蒙悬案”，从而激起了东北人民的反日怒潮。9月4日沈阳两万人示威游行，高呼“打倒田中内阁”。在全国反帝浪潮的冲击下，以及张作霖本人的民族意识，奉系政府未能满足日本在“满蒙”筑路、开矿、设厂、租地、移民等全部要求，并有所抵制，这为日本内阁所不能容忍，日本关东军则断定东北人民的反日游行系张作霖煽动所致，对他恨之入骨。1928年4月5日，***为了扩大自己的地盘在徐州誓师，对以张作霖为首的北方旧军阀举行“第二次北伐”。4月9日，第一集团军发起全线进攻。4月30日，各路国民军对济南发起总攻。这天夜晚，张宗昌率残部弃城北逃。5月下旬，国民军已逼近京津地区。盘踞北京的“中华民国陆海军大元帅”张作霖见大势已去，在6月2日发出“出关通电”，宣布退出北京回东北。这次张作霖回东北，日本提出了最后通牒，胁迫他同意日本的要求，张作霖却仗着自己手里还有几十万军队，不肯松口。于是，日本关东军决定在张作霖回东北的路上除掉这个眼中钉。当国民军迫近京、津之时，日本“惟恐战乱波及满洲”，一面增兵青岛，威胁南军北进;一面按其“东方会议”的决策，对张作霖施加压力，迫张及早离京。1928年5月18日，日本对交战双方发出警告，声称：“动乱行将波及京、津地方，而满洲地方亦有蒙其影响之虞。夫满蒙之治安维持，为帝国之所最重视，苟有紊乱该地之治安，......帝国政府为维持满洲治安计，不得不取适宜且有效之措置。”在这“警告”发出的前后，日本加紧了逼张的活动：既催张退回东北，又乘机向张勒索“满蒙”的权益。
张学良、杨宇霆等亦“力劝老将回奉”。5月30日，张作霖召集张作相、孙传芳、杨宇霆、张学良举行会议，决定下总退却令。6月1日下午，“邀外交团入府”，在怀仁堂与外交团告别。他在致词中，以极悲痛的语句，向各国使团表示他的“讨赤”立场。他说：“余为中国计世界计，始终矢志讨赤，至保护外侨生命财产，即余在满洲时......亦未尝一日忘怀，今后仍然请各位放心。”6月2日，张作霖发表了“出关通电”，说明自己到北京“本为救国而来，今救国志愿未偿，决不忍穷兵黩武。爰整饬所部退出京师。”张作霖虽通电“退出京师”，但决不甘心放弃既得的统治地位。在离京前(6月1日)，他命许兰州将“安国军大元帅”的印、旗、国务院的印信、外交部的重要档案全部运往关外，并下令“一切重要命令，仍须由大元帅盖印发表”，梦想“在关外庞然自大，一过其大元帅之瘾”，企图有朝一日卷土重来。
