1927年8月下旬，在反击孙传芳的龙潭大战中，陈诚胃病发作坐在轿子上去前线督战。战后，何应钦以在“影响军心”为由，免去了陈诚的师长职务。 龙潭之战后，陈诚的二十一师调往苏州整顿补充。由于陈诚将作战不力的六十三团团长李树森撤职，引起部分黄埔军官的反对，副师长孙常钧趁机带着几个军官到何应钦处指责陈诚腐化、坐轿指挥作战。 何应钦早就不满意陈诚，所以不管当时陈诚是为何坐轿子，还是下令将陈诚免职，遗缺由陈继承接任。此时陈诚胃病尚未康复，于是就卸职去上海养病。 陈诚极不服气，认为自己抱病打了胜仗，无功也就罢了，反倒受过，显然是何应钦排斥异己，就对人发牢骚说：“蒋先生下野，也是被何应钦联络白崇禧的桂军逼走的。他们对浙籍军人是要排挤的。” 二十一师的师长本来是严重，由于严重在北伐时和蒋介石分歧很大，而副师长陈诚却主动对蒋介石表示：“要与钧座共进退。” 后来，严重不愿意投靠蒋介石，干脆辞职，陈诚接任师长。自北伐以来一年多的时间里，陈诚完成了营、团、师三级跳，其晋升速度是很快的。由于有蒋介石的看重，陈诚被何应钦免职，只是暂时的蛰伏。 1928年初，蒋介石复出后，当即任命陈诚为总司令部中将警备司令兼炮兵指挥官。下辖警卫第一、二、三团，宪兵第一、二团，炮兵第一、二团，实力比一个军还雄厚。 不久，蒋介石把军阀曹万顺部和原南京警备司令部所辖的3个警卫团编为第十一师，准备任命陈诚当师长。 何应钦当场反对，说陈诚资历太浅，与顾祝同、蒋鼎文等师长同起同坐乱了规矩，坚持让陈诚任副师长。 在何应钦的干涉下，陈诚由总司令部警卫司令一裁而成副师长，于是对何应钦更加不满。他曾对人说：“何应钦实在可恼，又同我为难了。” 再次被何应钦排挤，陈诚一气之下跑到上海。蒋介石有意将陈诚养为心腹干将，于是特地派人到上海请回陈诚，当面与他交底：曹万顺只是个过渡，师长最终还是由陈诚来当。 陈诚一到十一师便开始整顿军纪，严禁嫖赌，以期改变部队中旧军阀风气。在陈诚的大力整顿和调换下，十一师的中高级军官大都成了黄埔系。 师长曹万顺自知杂牌出身，因此非常识趣，也不过多干涉陈诚。期间，陈诚授意罗卓英串联十一师黄埔军官写联名信给蒋介石，让陈诚尽接任师长，除团长关麟征外，其他黄埔军官纷纷在联名信上签字。由于关麟征的不配合，让他和陈诚此后势同水火，恩怨极深。 1929年春，蒋介石找借口将曹万顺调入新编第一师任师长，陈诚继而十一师师长。陈诚的发迹，正是从第十一师开始的。正式就任师长后，陈诚将曹万顺旧部军官全部换为黄埔生。 在此后的军阀混战中，十一师显示出较强的战斗力。1930年1月，陈诚部在冰天雪地中开到驻马店，讨伐反蒋的唐生智。恰逢唐生智部两个师反扑。前线危急，告急电话打到师部，陈诚立刻说：“不能退，我马上来，要死咱们死在一起！” 激战中，唐生智部骑兵一度绕到陈诚设在刘店的师指挥所附近，陈诚亲率特务营参加战斗。后来援兵赶到才将门炳岳骑兵旅击退，陈诚部损失惨重。 战斗间隙，陈诚利用唐军军心不稳之机派人劝降，唐军中校团副罗少甫、少校营长杨乾吉率两个营在阵前向陈诚十一师投诚，这使唐军军心更加不稳。 唐生智在前后夹击下全军覆没，陈诚也因确山的战功，更加得到蒋介石的信任。在后来的中原大战中，陈诚因战功升任第十八军军长，仍兼第十一师师长。 十八军在组建之初，时只是一个架子，下面只有十一师一个师。为填补空白，后来陈诚想法收编钱大钧的教导第三师，改编为十八军所属第十四师。 教导第三师是钱大钧的班底，钱大钧深得蒋介石信任，该师主要军官多为黄埔生。得知教导三师要划入陈诚的十八军，由于钱大钧在时，治军不严，管理松散。该师的军官们疏懒惯了，所以他们都不愿意陈诚来当他们的上司。 教导三师军官不愿并入十八军，除了陈诚治军严厉外，还有一个重要原因，就是陈诚喜欢排斥异己，任用亲信，这些军官担心一旦成了陈诚的部下，就会失去兵权。 为了赶走陈诚，教导第三师的9个团长齐集到第二团团长夏楚中家，开了一次会。大家商定不接受陈诚的命令，支持钱大钧继续当师长。 会后，夏楚中和第六团团长张鼎铭觉得陈诚深得蒋介石信任，连钱大钧都要退让，他们反抗无益，接受改编已不可避免，决定改变态度支持陈诚改编。 陈诚对夏楚中、张鼎铭在关键时刻支持他非常满意，便亲自到这两个团讲话，对夏、张二人大加夸赞。这样，教导三师内部阻挡陈诚的联盟也就瓦解了。 之后，陈诚又以武汉要塞攻城营和工兵营改编为一个攻城旅，所辖两师一旅，成为了名副其实的军。靠着蒋介石的信任，陈诚又以各种借口和手段收编杂牌部队扩充实力。在不到三年的时十八军扩充为六个师。 陈诚的起家部队十一师和十八军，十一合为土，十八合为木，所以以后形成的以十一师和十八军为核心的陈诚军事集团被人称为“土木系”。
