1929年4月，蒋介石到第三师驻地视察时，营房不见一个中、高级军官。询问后得知师

1929年4月，蒋介石到第三师驻地视察时，营房不见一个中、高级军官。询问后得知师长钱大钧等军官都到上海过周末玩乐去了。蒋介石一怒之下，把这个师的师、旅、团长统统撤换了。师长由钱大钧换成了毛炳文，第九旅旅长换成了韩德勤。 当时，李仙洲在第一师师长刘峙手下任第一旅副旅长（旅长徐庭瑶），蒋介石点名让李仙洲接替第三师第九旅的十三团团长，要他参与整顿这个队伍。同时，蒋介石命第三师离开距上海很近的苏州，调驻徐州。 1930年5月初，阎锡山、冯玉祥和蒋介石之间的大战爆发了，即“中原大战”。战斗打响后，第三师即由砀山向西进攻，在陇海线上拉锯式地打了半年，最后战事以东北军入关，冯玉祥、阎锡山宣布下野而告终。 “中原大战”后不久，第三师划入第一军（军长陈继承），李仙洲任该师第九旅旅长（师长李玉堂）。1933年春，第三师由河南调到江西抚州，当时蒋介石正在抚州。李仙洲带着第三师第九旅到达抚州的当天晚上就去见蒋介石。 蒋介石在简单询问了部队情况之后，对李仙洲说：“你们归陈诚指挥。” 当时在座的还有二十一师第三旅旅长张鸾吉，过了一会张鸾吉离开后，蒋介石突然对李仙洲说：“你到二十一师去当副师长好吗？” 李仙洲心中并不情愿，因为在当时副师长的重要性是不如有兵权的旅长的，蒋介石又说：“二十一师的官兵都是你们北方人，兵员充实，人强马壮，这支部队很不错，你去吧！嗯？” 见李仙洲不吱声，蒋介石说：“我不勉强你，你考虑考虑好了。” 李仙洲回到旅部，反复思索之后，突然明白了蒋介石的意图。于是当第二天蒋介石再次召见时，李仙洲说：“校长一定要我去，我就服从命令。” 二十一师属于军阀部队，师长刘珍年是河北南宫人，毕业于保定军官学校，此人颇有才干，但桀骜不驯。他原为张宗昌、褚玉璞的直鲁联军方永昌部的旅长。1928年春，直鲁联军被北伐军击败，溃退时，刘珍年率部脱离方永昌，以牟平为基地，招兵买马，扩充势力，集众数万，占据胶东十余县，人称“胶东王”。 为了拉拢为己用，蒋介石将刘珍年部编为第二十一师，辖步兵三旅（九个团），和骑兵、炮兵各一团，工程兵、辎重兵各一营及师直属诸部队，胶东富庶加上刘珍年善于练兵，因此该师武器装备都不错，战斗力也很强。 “中原大战”结束后，韩复榘成了山东省主席，但刘珍年照旧控制胶东各县，根本不买韩复榘的账。韩复榘忍无可忍，便于1932年9月，派手下军长曹福林指挥所部，向刘珍年的防地掖县、莱阳一带进攻。刘珍年采取深挖壕、高筑墙、坚守城池的战术，屯兵坚城之下，和韩复榘的部队打了一个多月，双方死伤官兵数以千计。蒋介石迫不得已，下令刘珍年调驻浙江温州。 二十一师由胶东开拔温州途中，蒋介石电令刘珍年，把该师骑兵团留在江北。理由是南方多水田，沟渠纵横，骑兵无所施展。这等于削去刘珍年的两只脚，刘珍年当然心怀不满，但也无可奈何。该师先头部队第三旅进入浙江境内时，蒋介石一面召见旅长张鸾吉，进行分化收买；一面电令刘珍年，命该师装备最好战斗力最强的第三旅开到抚州，归“南昌行营”直接指挥。 当第三旅离开二十一师时，刘珍年电告蒋介石说：“张鸾吉叛变了。” 蒋介石复电说：“背叛你，没有背叛我。”刘珍年这才发觉离开胶东极为失策，但是却已经来不及了。后来，浙江省保安司令俞济时奉蒋介石的密令，在宴会席上把刘珍年扣留，解送南昌行营，关押起来。 刘珍年被扣押后，由该师第一旅旅长梁立柱代理师长。李仙洲起初不愿到这个人地两生的杂牌部队里当副师长，但是他很快明白了蒋介石是要他去抓这支队伍的意图，所以就又欣然从命了。 在李仙洲上任时，蒋介石批给一笔特别费，不作报销。这是作为他拉拢该师官兵之用的。李仙洲初到该师时，代理师长梁立柱不理他，并派他的警卫连长监视他，不让他单独接近官兵。 但是过了一段时间，官兵主动地接近李仙洲，旅、团长们联名打电报给蒋介石，要求撤换代理师长梁立柱，并由李仙洲署名领衔。 过了一段时间，李仙洲到南昌参加由各师副师长组成的检阅组，检阅在江西的蒋军各部队时，南昌行营主任顾祝同在宴会后问李仙洲：“刘珍年在二十一师官兵的心目中，还有影响否？” 李仙洲说：“没有了。”结果，第二天刘珍年就被枪决了。 刘珍年死后，二十一师从温州调到江西横峰县，归卫立煌指挥。蒋介石一面把梁立柱调到“庐山训练团”去“学习”，一面给卫立煌去电说，闻二十一师的旅、团长们与梁代师长不和，可否以副师长李仙洲任师长？” 卫立煌想让亲信郭寄峤当二十一师师长，便复电蒋介石说：“副师长领头反对师长，而以副师长接任师长，此风万不可开，似以郭寄峤任师长为宜。” 蒋介石无奈，只得来个折衷的过渡办法：让卫立煌本人暂兼二十一师师长。1934年，卫立煌调驻合肥，二十一师调驻芜湖，卫立煌无法再兼这个师的师长，于是李仙洲顺利接任师长。至此，蒋介石如愿以偿地把二十一师完全吞下去了。