1926年10月，兵败的吴佩孚带着卫队逃到邓县，于学忠带着手下六个师长出门迎接，态度一如以往，这让吴佩孚感动不已。

于学忠是吴佩孚的蓬莱老乡，早年在湖北当直军团长时，因表现突出引起吴佩孚的重视，将他破格提拔为混成旅长。

北伐开始时，于学忠已是吴佩孚部的第九军军长兼荆襄总司令。归他节制的部队有六个师。

吴佩孚在丢失武汉后，手下将领纷纷动摇，他环视一圈，也就只有素有忠义之名的于学忠可为依仗。

得到吴佩孚要来的消息后，于学忠带着六个师长及一众旅、团长在邓县的军部数里外，列队迎接“吴大帅”。吴佩孚几番起落，深知事态之炎凉，见于学忠对他执礼甚恭，心中暖流涌现。

吴佩孚是北伐中，第一个被击溃的军阀，他在失去对两湖的控制，退入河南后，陷入了从潼关东出的冯玉祥的西北军、由武汉北上的北伐军的两面夹击。

吴佩孚和于学忠商议后，决定移师豫东，再图发展。不料，于学忠部驻防新野的师长阎得胜、毛永恩等人按兵不动，其他部队长见状，也纷纷找借口不愿开拨。

与此同时，吴佩孚的卫队，在几个军官带头鼓噪下，发生了哗变，几天时间，六千人的卫队，跑掉了一小半。

见在河南已难以立足，吴佩孚心灰意冷，决定带着幕僚、卫队去四川。

于学忠反对说：“四川大小军阀众多，玉帅去后恐难以发展。”

吴佩孚说：“我对杨森有恩，他也来电邀请我。我走后，河南的部队统由你指挥，是战是和自行决断，不必再请示我。”

于学忠说：“玉帅要去四川的话，我就不打算干了，回蓬莱老家养老。”

吴佩孚说：“我当混成旅长时，已过四十岁。你如今才三十多岁，正是年富力强，万不可萌生退意。若战事实在难以挽回，你可以带着部队去投靠张作霖，他不会亏待你的。切记，如果投靠的是其他人，那么我就不认你了。”

吴佩孚走后不久，唐生智、老蒋分别派代表来找于学忠，劝他加入北伐军，但均遭拒绝。

西北军击败河南的奉军、直鲁联军后，兵锋直逼邓县，沿途的直军残部纷纷投降。于学忠手下的师、旅长们，均不愿作战，主张接受改编。

于学忠见无法控制部队，便召集主要将领开会，说：“玉帅和冯玉祥之间的事情，大家也都知道。因此，我是不会投降接受改编，但为了弟兄们的生存，也不能强迫让打下去。所以，我决定解甲归田，走了之后，大家何去何从，自行决断。”

在临走时，于学忠将军务交给第七师师长阎得胜代理，办理交接时，阎得胜见军部存有几万大洋，询问如何处理。

于学忠说：“我支取三百，作为回乡的旅费，其余的给官兵们分了。”

于学忠走后，阎得胜牵头，带领部队加入西北军，归冯玉祥手下大将孙连仲节制。孙连仲对新收编的直军部队不放心，采取分而治之的策略，让几个师长分别驻守于郑州、许昌、驻马店等地。

毛永恩、杨殿云、马廷福等师长见势不妙，率部突袭孙连仲军后，将部队拉到了安徽蒙城一带。

连吃败仗的张作霖，得到这个消息后大喜过望，连忙派人去蓬莱找于学忠，让他把旧部重新召集起来，加入奉军。毛永恩等人合计后，写了联名信让人交给于学忠，信中主要写了两方面的内容，一是，陈述改编后遭遇的不公，及官兵们当前危险的处境；二是，让于学忠为了官兵们的生计，重新出山。

吴佩孚本就有让于学忠在形势不利的情况下，投靠张作霖的嘱咐，加之见老部下们陷入困顿，于学忠考虑再三后，前往北京见张作霖。

于学忠的父亲于文孚早年在毅军宋庆部担任过帮统，和张作霖共过事。于学忠自小随父在军营，张作霖当时没少逗他玩。

张作霖见到于学忠后，高兴的说：“我和你父亲给宋老帅当过差，处得很不错，你不是外人。”

于学忠说：“我在蒙城的旧部，尽管折损不少，但编成两个师不成问题。希望大帅能把他们收编了，拨付粮饷弹药。我可以从旁协助，保证不会出乱子。”

张作霖说：“我手上有几十万人马，会缺你这两个师。你不必协助，部队还是你的，改编后，我的部队吃穿什么，你的人就吃穿什么。至于部队番号，就编为二十军，军长你来当，师长以下军官，你列个名单，我这边全部照批。”

谈话将结束时，张作霖叮嘱说：“你这个军就归第四军团，后续的事你去找张军团长（张学良）。”

于学忠去见张学良时，张学良说：“奉军发放军饷，有两种方式。第一种是不看部队人数，采取包干，给官兵发多少，由你这个军长决定；第二种是定期核定人员，按实际人数发，标准是固定的。大部分的军长，都喜欢第一种，一来自主权大，二来也有秋风可打。”

于学忠说：“我选第二种，请军团长派人点检人数后，按照实际拨付。”

张学良笑着说：“奉军中，就缺少你这样的将领。这样，我先给你拨十万元应急，等改编后再行核定。”

这次见面，让张学良对于学忠印象很好。于学忠的部队，原是直军中战斗力较强的一支，改编后很快成为奉军主力。

于学忠加入奉军，虽然是“半路出家”，但靠着战功和人品，成为张学良的左膀右臂。张学良在90寿辰时，追忆往事，曾感慨地说：“我忘不了于学忠，他是我的左右手啊。”