1927年5月，众叛亲离的吴佩孚，兵败后去找军长于学忠。起初，该军军官尚欢迎吴佩孚的到来，但是随着冯玉祥的部队逼近邓县时，军官们大都有了贰心。有一天，于学忠召集手下军官开会，第七师师长阎得胜说：“吴大帅在此，目标太大，恐怕会引来冯玉祥和南方部队的夹击。” 于学忠说：“玉帅（吴佩孚）今日正在患难，既属朋友亦应援助，况为直军统帅，今日岂能落井下石。诸君若执此意，我当自杀以谢玉帅与诸君。” 见于学忠态度坚决，他手下的军官便无人敢再提此事。在此期间，北伐军两度派人规劝于学忠反正。第一次是唐生智派姚存楠（于学忠的同学）前来劝说，于学忠回复：“我若肯附南，在宜昌即当归附。今移师至此，岂能变易初心。” 接着，陈干受蒋介石的委派，以山东同乡之谊，登门拜访于学忠，表示蒋介石十分爱慕器重于学忠的才干，并带了蒋介石的委任状，于学忠婉言拒绝。 不久后，邓县已成为冯玉祥部进攻的目标，吴佩孚深感处境危险，便与于学忠商议，决定移军豫东。东移命令虽然下达，但是驻军新野的阎得胜、毛永恩两个师都按兵不动，而吴佩孚所带的卫队也是军心混乱，逃走大半。 吴佩孚见大势已去，无力挽回，被迫重新计议出路，由于他与川军将领杨森、邓锡侯等人颇有感情，于是决定暂避四川，再观形势。 于学忠反对说：“玉帅，川省系防区制，何等防区能容此大军。重率饥疲之众再入险阻之区，将士亦难能用命。今我解甲归田，与玉帅同进退，将部队移交部将，听其自求生存。” 吴佩孚不听劝告，于学忠决定辞职，他将第二十六师扩编为第二十五、第二十六两师，以杨殿云、马廷福分任师长，并下令吴军第九军各师，统归第七师师长阎得胜指挥。辞职前，于学忠召开第九军师团长会议，告知众人他解甲归田之决心，说：“你们好自为之，但你们有办法能立足，我当躬耕故里，终不着此军衣。若仍不能生存，找我时，我但能管亦不能不管。” 当时第九军尚存现款三万余元，于学忠除携带少数旅费外，其余大部都分给全军官兵。这年6月，在吴佩孚南行数日后，于学忠也返回蓬莱故乡隐居。 于学忠下野后，所留的部队被冯玉祥收编。冯玉祥命令阎得胜率原第七师一旅移驻郑州，刘遒昌旅驻许昌，毛永恩、杨殿云、马廷福各师则分驻驻马店一带，这些将领见冯玉祥采用分裂调拨的方法，企图瓦解该军，都很气愤，遂联合密谋将部队拉出。除阎得胜率领的一个旅及秦建斌师无法拉出外，其他部属在突袭冯玉祥军孙连仲部之后，一律东开，拉至安徽蒙城，众人共推于学忠之原秘书长查炜、副官长李俊襄、团长张砚田为使者前往蓬莱找于学忠想办法。 就在这时，张作霖特派参议尹同愈等三人与于学忠接洽，希望他与奉军合作，共同对付冯玉祥。为了谋求原第九军的出路，于学忠前往北京。 于学忠抵北京后，受到张作霖的接见，张作霖快人快语，说：“我与令尊系少年朋友，以前在宋老帅（指毅军统帅宋庆）部下共事5年，此是事实，并非我自居辈长。我们不是外人。” 于学忠表示只要求将原第九军的部队加以安置，张作霖说：“今日奉军并不需要多此三两师人，只是相信你，要你合作。此军仍须你统带。你对吴子玉（吴佩孚）情形，我们都已知道，但能以对吴者对我，就已够了。此后服装、粮饷、给养、军械均按奉军发给，你可即去将军队整理带到北方。其他事可与学良接洽。”会面后，于学忠被张作霖任命为奉军第四方面军团第二十军军长，仍统率原第九军旧部。 1927年8月，直鲁联军张宗昌与孙传芳的部队，西败于冯玉祥军，南败于蒋介石军，集结于徐州，由张宗昌亲自指挥。 于学忠率部抵达徐州支援，当时冯玉祥的部队已开始进攻徐州，并先后占领九里山、北车站等重要阵地。于学忠去见张宗昌，张宗昌说：“，前线局势危急，冯玉祥的部队正猛攻，如此一退，败必失去数万人。” 张宗昌要于学忠助一臂之力，于学忠当即下令所部以两团兵力先攻北车站，限拂晓前夺回九里山。当夜雨雪交加。于学忠亲自指挥，到第二日凌晨，率部占领了九里山阵地。张宗昌非常感激，给张作霖发去电报，请求让于学忠暂留鲁协防，于学忠率部便移防济宁。一月之后，又奉令开至河北东光。 不久后，于学忠部又奉张作霖的命令，率部前往京汉线参加彰德以北西迄涉县之线，与奉军马占山诸部协同作战，抵抗冯玉祥军。不久，山西阎锡山所部攻入河北，于学忠奉张学良之令，以援助奉军王树常部，将晋军阻止。 于学忠加入奉系后，由于屡立战功，于1927年9月，晋升为陆军中将，获二等文虎勋章，12月，授捷威将军名号。 1928年6月，张作霖在返回奉天途中，在皇姑屯被日本人炸死。张学良对于学忠更加重用，在东北军退入关外时，于学忠奉命断后，率部驻山海关。 12月29日，东北“易帜”，于学忠升任东北边防司令长官公署军事参议官、临绥驻军司令。于学忠凭借自己的努力，成为东北军的骨干将领及张学良的左膀右臂。
