1927年7月，于学忠来到北京见张作霖，张作霖大喜，说：“我和你父亲可是故交，当年都是宋庆的部下，你和我不是外人。” 于学忠原为军阀吴佩孚麾下的骨干将领，吴佩孚的部队被北伐军击败后，张学良给于学忠写了信，邀请他到奉系任职。于学忠的旧部当时被冯玉祥收编，但是彼此矛盾很深，旧部军官纷纷来找于学忠要求改换门庭，于学忠考虑再三，决定投靠张作霖。 和张作霖见面后，当于学忠讲到此来并无苛求，只求旧部得以安置时，张作霖说：“你可将部队整训后带往北方，之后军服、军饷及军械等均照奉军发给，具体事宜你可与小六子（张学良）接洽。” 于学忠当即去见张学良，张学良与其父一样，对于学忠的到来表示竭诚欢迎，并按张作霖之指令，任命于学忠为第二十军军长，于学忠由此率部正式转入奉系。 9月，于学忠晋升为陆军中将，12月，于学忠奉调河北省东光县，张学良亲临检阅部队。不久后，阎锡山率晋军攻入河北，奉军王树常部在完县一带御敌，张学良又调于学忠部赴援。于学忠接令后，以14小时行140里之的速度，日夜兼程，与王树常会师，击退晋军，张学良为之赞佩不已。 1928年6月4日，张作霖在皇姑屯被炸身亡，张学良闻讯火速潜返奉天。其间，在7月4日就任东三省保安总司令之职，随之，于学忠被张学良任命为东北边防司令长官公署军事参议官，兼临绥驻军司令，驻防山海关、绥远一线，此时的于学忠，已经成为张学良最为信任的骨干将领之一。 1930年5月，中原大战爆发，蒋介石受到阎锡山、冯玉祥等人的联合攻击，他深感势单力薄，为了扩充力量，蒋介石先后两次写信给于学忠，进行利诱。于学忠毫无动念，将信交付与张学良，并当即复信蒋介石，表明“惟张学良之命是从”。 9月，张学良公开支持蒋介石，东北军主力大举入关，不久后，就任海陆空军副司令（司令为蒋介石）。东北军主力入关，成为压死骆驼的最后一根稻草，冯玉祥、阎锡山被迫下野，蒋介石取得中原大战的胜利。 张学良率部进入平津后，负责北方善后，他向蒋介石举荐，任命于学忠为平津卫戍司令。至此。 1931年4月，张学良在北平设立海陆空军副司令行营，这时投靠张学良的军阀石友三接受汪精卫的任命，突然举兵，企图占领平津。于学忠受张学良之重托，与王树常等部协同作战，大败石友三。 战后，张学良非常高兴，赠与于学忠一部最新七座别克黑色大轿车。这在东北军高级将领中，享此厚遇者，仅于学忠一人。 “九-一八”事变发生后，张学良召开包括于学忠在内的高级将领会议，亟议对策，于学忠在会上慷慨陈词，力主“集中兵力，给敌人以痛击”，但是，由于各种原因，于学忠的主张未能被采用。 1933年3月，日军侵占热河，舆论大哗，蒋介石乘火车来到石家庄，率何应钦、宋子文会晤张学良。 见面后，蒋介石向张学良说：“热河失守，舆论攻击我们两人，宛如我俩同乘一只小船，本当同舟共济，无奈风浪太大，应先下去一人，以息愤怒浪潮，否则事必同遭沉没。” 张学良当即慨然说：“东北丧失，我早想引咎辞职，热河丢失，更系责无旁贷，请即免我的本兼各职，一申纲纪，二振人心。”几天后，张学良辞呈核准，他开始交代事务，准备带着家人前往欧洲考察。 在张学良临走时，他对东北军作了安排。当时整编后的东北军有6个军：第四十九军，军长刘多荃，辖第105师和第109师，师长分别为高鹏云、赵毅；第五十一军，军长于学忠，辖第113师和第114师，师长分别为周光烈、牟中珩；第五十三军，军长万福麟，辖第116师和第130师，师长分别为周福成、朱鸿勋；第五十七军，军长缪澄流，辖第111师和第112师，师长分别为常恩多、霍守义；第六十七军，军长吴克仁，辖第107师和第108师，师长分别为金奎壁、张文清；骑兵第二军，军长何柱国，辖骑兵第3师和骑兵第4师、第6师，师长分别为徐良、王奇峰、刘桂五。 原由东北义勇军编成的冯占海的第六十三军番号被撤销，仅保留了第九十一师。还有后来“西安事变”发生时，叛离东北军的第106师和骑兵第10师，师长分别为沈克、檀自新；炮兵第六旅和炮兵第八旅，旅长分别为黄永安、乔方，这些人后来都依附蒋军另立门户。 为了在自己走后便于控制，当时东北军总计有26万人，张学良将其缩编为4个军，其中于学忠部为第51军，万福麟部为第53军，何柱国部为第57军，王以哲部为第67军，万福麟、何柱国、王以哲这三个军总兵力计9万余人，其余的东北军大约17万人，张学良统一交给于学忠指挥。 此外，张学良还有他的警卫师105师，该师是由东北军各军师中精挑遴选而成，资金积累精良，编制整饬，实力超过一个军，张学良也一并交于学忠指调。 临别，张学良还特意嘱托于学忠：“我出国后，凡属自关外流亡到平津、河北各地的东北军军政人员，请多为关照。” 这是张学良第一次将东北军指挥大权交给于学忠，而于学忠也不负期望，在张学良回国前，牢牢地替他掌控着这支部队。