1946年5月，何应钦在和陈诚的争斗中失败，被蒋介石免去了参谋总长、陆军总司令等要职，被迫以军事参谋团团长的身份前往美国考察。何应钦在美国这一去就是二年，直到1948年4月，蒋介石要举行行宪国大，这才将这个国民党元老召回国。 当时，国民党军在各大战场损兵折将，国民党要员们不好直接去责骂蒋介石，便将怒火都发泄到了陈诚身上，对陈诚是一片“喊杀之声”。何应钦看到陈诚如此光景，内心是极为舒畅的。 蒋介石虽然当选总统，但他的死对头李宗仁也成了副总统，这让他极为恼火，于是决定在组阁时用自己人，但是这件事蒋介石又未能如愿。 本来，蒋介石想让好友兼心腹张群担任行政院长组阁，但是代表们对张群并不买账，反而是何应钦这个元老呼声很高，张群一见情况不妙，不愿意涉入漩涡，干脆从南京跑到了成都躲避。 张群撂挑子后，蒋介石干脆让一介文人翁文灏出来组阁，何应钦倒也配合，当即召开记者招待会表示支持翁文灏。鉴于何应钦表现尚可，蒋介石让其担任政务委员兼国防部长。 1948年8月3日，蒋介石在南京召开军事检讨会，在会上，何应钦以国防部长的身份通报了国军自发起内战以来的损失：国军各类部队战死、受伤、被俘、倒戈、失踪共计300余万人，损失各类步枪支二百多万支，各类机枪超过7万挺，以及火炮、战车、飞机、通信器材等巨量装备弹药的损失消耗， 何应钦的报告让会场炸了锅，蒋介石在第一天开会讲完话后就走了，当他得知何应钦的报告后，气得脸色发白，他清楚这是何应钦故意拆他的台。 参加会议的宋希濂，事后分析：何应钦之所以要在会上将这些不利于军心的数据公布出来，有两层意思，第一，何应钦这个国防部长刚当上不过3个月，对于失败他是不负责的；第二，这两年军事上就是蒋介石、陈诚主要指挥的，何应钦是借机发泄不满。 翁文灏做学问可以，当行政院长完全是为难他，在内困外交之下，翁文灏内阁于11月26日宣布集体总辞职，何应钦的政务委员及国防部长的职务自然也就卸去了。 1949年1月21日，蒋介石宣布下野，为了不让军事控制权被代总统李宗仁及桂系的白崇禧掌握，蒋介石有意让何应钦出任海陆空军总司令，但何应钦很清楚这个职务就是个虚衔，所以婉言拒绝，并以治疗痔疮为借口躲进了上海江湾军医院，一度闭门谢客。 有一天，陆军参谋长汤尧到江湾军医院看望何应钦，两人谈了好长时间，汤尧说:“何老总，你是党国的柱石，千万不能这样萎靡不振啊。就算是朝代兴亡，旧的朝代在灭亡前，也都是有几个孤臣孽子的，你要出来主持大局。” 何应钦叹了口气，愤愤地说：“当孤臣我还不够格，让陈诚去当。说来让人心寒，黄百韬以兵团司令的身份战死了，也算对得起南京了，可是他死后的抚恤如何？陈诚任人唯亲，心胸狭窄，这样人却被视为心腹，如此一来，谁还会卖命？“ 从何应钦和汤尧的谈话可以看出，何应钦对蒋介石心中的怨恨很大。为了让何应钦帮助自己对付李宗仁，蒋介石写了封亲笔信让张群带到上海，张群见到何应钦后，劝说其出山，何应钦以病重无法理事为由，拒绝了张群的邀请，无奈的张群只得返回四川。 李宗仁当了代总统后，和行政院长孙科水火不容，1949年3月8日，孙科辞职。李宗仁斟酌再三后，认为行政院长由何应钦当最好，因为他是各方都能允许的人。 何应钦其实也想当行政院长，但是他很清楚，国民政府的实际权力还是掌握在”隐而不退“的蒋介石手中，蒋介石在溪口的七部高功率电报，每日收发的电报比李宗仁的总统府还要多。所以，蒋介石不点头，何应钦也是不敢去组阁的。 行政院长老空着也不行，张治中受李宗仁之托，前去劝说蒋介石，张对蒋说：”何敬之怎么也算是自己人，如果不让他来组阁，那么李宗仁再选一个不可靠的人，也是不大好的。“蒋介石一听觉得有道理，便答应了由何应钦去组阁。 1949年4月2日这天，是何应钦60岁的生日，为了缓和关系，蒋介石亲笔写了寿联并让蒋经国送到了何应钦在杭州的临时住所。见到寿联的何应钦，倒也颇有些感动，于是便”干劲十足“的去组阁了。 何应钦这个行政院长并不好当，一来解放军横渡长江在即，全国一半都解放了，他的权力有限；二来，李宗仁和蒋介石明争暗斗，何应钦夹在中间，是两头受气。 白崇禧有一次当面说何应钦”没有担当“，何应钦无奈地说：”德公和蒋先生，我谁都开罪不起，这个院长，我也是当一天算一天。“ 1949年4月20日夜，解放军发起渡江战役，国民党的长江防线迅速崩溃，4月23日，南京解放。何应钦在南京解放前夕，带着行政院一帮人逃到了广州。 到了广州后，何应钦深感大势已去，不愿意再干了，他提出了辞职，李宗仁极力挽留，何应钦说：”德公，你如果不让我辞职，我就只能自杀或者逃走了。“ 5月13日，何应钦内阁在广州集体辞职，接着阎锡山又受命组阁。 广州解放前夕，何应钦又逃到了香港，在香港的何应钦思前想后，最终还是选择去了台湾。