1949年5月，关麟征接到通知，让他做好将中央陆军军官学校（原黄埔军校）迁往台湾的准备。关麟征大惊失色，连忙给蒋介石发去电报，讲了几个不能迁移的原因，老蒋看后不置可否，搬迁一事暂时缓了下来。
关麟征不愿将军校迁去台湾的主要原因是，他和时任国民党台湾省主席的陈诚势同水火，彼此看对方如仇寇。
本来，关麟征在蒋军的黄埔一期将领中，是头几人的存在，他是继胡宗南这个“天子门生”之后，第二个当军团长、集团军总司令的人。关麟征又比胡宗南会打仗，所以不少人都看好他，认为他会取代胡宗南，成为蒋军中的“黄埔第一人”。
关麟征和国民党元老何应钦走的比较近，而这也引起了老蒋对这个昔日爱将的猜忌。
1943年，54军军长黄维因为军粮质量差，一气之下寄了一袋发霉的军粮到军政部长何应钦的办公室。何应钦见一个军长敢对自己如此，勃然大怒，派人调查。54军隶属关麟征的第九集团军，但调查人员来的时候，关麟征采取作壁上观，并未替黄维说话。原来，54军在陈诚的“土木系”集团中，是仅次于18军的主力。和陈诚仇怨很大的关麟征，想借着“军粮事件”挤走黄维，进而吞并54军。
黄维是个直脾气，不会讨好调查人员，调查的“结果”自然不好。陈诚得知后，去找老蒋求情，老蒋碍于何应钦的面子，最终以和稀泥的手法，将黄维调任军委会任中将高参。
在黄维调离后，关麟征派张耀明去54军任军长，试图让该军脱离“土木系”。张耀明既是关麟征的黄埔一期同学，也是陕西老乡，私交极好，是关麟征这个小集团中的二号人物。
杜聿明知道陈诚的手腕，曾劝关麟征适可而止，因为54军是“土木系”的台柱子部队，想强行吞并不仅难办，而且会彻底惹怒陈诚。关麟征把桌子一拍说：“我就是要吃掉陈诚的基本部队。”
官司打到老蒋那里后，老蒋肯定是偏向“干女婿”陈诚（陈诚的妻子谭祥，是蒋介石、宋美龄的干女儿）。54军被划出关麟征的第九集团军序列，暂由十一集团军总司令宋希濂指挥，不久后又划入霍揆彰的二十集团军。黄维走后，空出来的军长，由十八军军长方天接任（方天走后，十八军军长由副军长罗广文升任）。为了安抚方天，又给了他二十集团军副总司令的头衔。
这次争斗，让关麟征的如意算盘落空，造成的后果是严重的，除了和陈诚的关系再无和好的可能外，由于此事何应钦深度参与，对何应钦向来有戒心的老蒋，对关麟征也有了极深的成见。
1944年底，何应钦丢掉了把持十四年之久的军政部长职务，由陈诚接任。这样一来，关麟征的日子就不好过了。不久后，在昆明组建陆军总司令部，下设四个方面军（卢汉、张发奎、汤恩伯、王耀武分任总司令）及昆明防守司令部（总司令杜聿明）等机构。
这次人事调整，关麟征受到冷遇，仅挂名第一方面军副总司令。对比王耀武、杜聿明差距明显，这两人当军长时，关麟征就已经是集团军总司令了，而风水轮流转，关麟征原地踏步，这两人的职务却超过了他。这背后，自然和陈诚脱不了干系，只要陈诚在军政部长位置上一天，关麟征就绝难出头。
抗战胜利后，一度风传要派关麟征去东北任保安司令。不料任命下来时，却是杜聿明，这让关麟征一肚子火。
1946年，关麟征调任中央陆军军官学校教育长（校长由老蒋兼任），第二年，老蒋不再兼任各学校的校长，关麟征接任校长，他成为黄埔军校历史上的第二任校长。
国民党军事机构改革，白崇禧任“国防部长”、陈诚任“参谋总长”，原军委会取消。改革后的军事体系中，“参谋总长”的权力大于“国防部长”，直接对老蒋负责，属于国军中“一人之下万人之上”的角色。陈诚是个睚眦必究的人，他掌握大权后，关麟征再未实际指挥过部队。
1948年，屡战屡败的陈诚成为众矢之的，不得不辞去参谋总长、海军总司令等要职，躲在上海养病避风头。陈诚离开后，接任参谋总长的顾祝同和关麟征关系尚可，所以给了他一个陆军副总司令的头衔，但并不负责陆军司令部的任何事务，管的还是军校。
1949年1月，老蒋下野，代总统李宗仁想让关麟征取代顾祝同担任参谋总长，老蒋得知后大怒，将关麟征召到溪口训斥了一番，骂完后，又以安抚的语气承诺让关麟征担任陆军总司令。
关麟征回到成都不久，陆军总司令的任命发表了，但不是他，而是粤军元老张发奎。关麟征清楚自己被耍了，气愤不已。
渡江战役后，国民党兵败如山倒，一直想把手插到黄埔军校的陈诚，向老蒋建议把军校迁到台湾。老蒋同意了，但遭到关麟征的抵制，忙于指挥作战的老蒋也没有再多干涉，迁移的事不了了之。
到了8月，眼见解放军就要挺进大西南了，老蒋急了，指令关麟征把军校迁移到云南大理、姚安等处。同时，为了补充兵力不足，老蒋下令军校组织成立6个教导团补充兵员。
早在1947年，关麟征就向老蒋提出，成立几个教导团，但对关麟征有猜忌的老蒋，否决了这个提议。此时，缺兵少将的老蒋，才又想起成立教导团，关麟征气愤的说：“老头子生怕我扩充实力，现在要成立已经太晚了。”
关麟征也不愿意把军校迁到云南，所以依旧采取拖延战术。
老蒋乘飞机往返于广州、成都、台湾等地，有一次，他到台北后，陈诚来见，再次提出把黄埔军校迁到台湾。老蒋听后，给关麟征发去电报，让他速来台湾一趟。
关麟征到台湾后，却不愿意去台北，滞留高雄，因为陈诚就在台北。老蒋清楚关麟征和陈诚的恩怨，也了解这个学生的牛脾气，所以难得的低姿态，去高雄见了关麟征。
见面后，老蒋告诉关麟征，说军校迁到台湾已经定好了，不容更改。见关麟征对到台湾和陈诚共事有抵触，老蒋宽慰他，说会给他安排一个职务。
这次会面，使得关麟征大为寒心，对老蒋彻底失望，也绝了他去台湾的心思。
回到成都不久，关麟征“陆军总司令”的任命下来了，但他一点不高兴，因为稍有军事常识的人都知道，在这种局面下，这个职务毫无意义。
关麟征不愿继续担任军校校长，他先后向老蒋、李宗仁推荐了张耀明。9月初，张耀明被任命为校长，成为黄埔军校的第三任校长。
和张耀明交接完后，关麟征也不去陆军总司令部上任，不久后又主动提出辞呈。在成都解放前夕，关麟征带着家人飞去了香港。飞机本来是从香港转机去台湾的，在香港临时停靠时，关麟征和家人悄然离开。
