1950年3月，汤恩伯准备乘飞机去日本，上飞机后，机上验票人员要他出示赴日证件，他声称是受委派到日本执行特殊任务。机场报告后，蒋介石判断汤恩伯想逃往日本，于是下令阻止。接到命令后，机场卫兵强行将汤恩伯拉下了飞机。 6月18日，被汤恩伯出卖的陈仪，被蒋介石下令枪杀在台北。陈仪在临刑前，身穿白色西装，仪容整洁，边走边说：“人死，精神不死！人死，精神不死！” 汤恩伯对于恩师是陈仪心存愧疚的，据汤恩伯后来对友人讲，他接到蒋介石扣留陈仪的命令时，曾向蒋介石提出条件，不能处死陈仪，蒋介石答应了。但蒋介石违背诺言，决定处死陈仪。为救陈仪，汤恩伯四处求情，几次找“政学系”的张群，以及曾和自己在上海共患难的谷正纲、雷震、方治和原上海市长陈良等人，希望他们在蒋介石面前帮忙求情，并请求面见蒋介石。 蒋介石听后大怒：“陈仪犯那么大的罪，他汤恩伯心里不清楚吗？这事任何人求情都不行！汤恩伯活堕落了，他要为陈仪说话，我不见他！” 汤恩伯仍不死心，去求保密局长毛人凤，毛人凤答应去见蒋介石，没过几天，城府极深的毛人凤来见汤恩伯说：“我找到总裁，当面求情，总裁将我臭骂一顿，天威难测，我也没有办法！”毛人凤很轻易就打发了汤恩伯。 陈仪被枪毙的消息传来，汤恩伯失声痛哭，不能自已。他在家中为恩师陈仪设立灵堂，跪拜祭奠，以祈求宽恕。汤恩伯永远不能忘记在法庭上与他见面的场景，当他作为证人哆哆嗦嗦给陈仪敬了个礼时，陈仪却像没看见他一样，扭过头去，对他表现出极大的轻蔑，使汤恩伯的良心上受到赤裸裸的审判。 汤恩伯想以祭奠换取心理上的平衡，不料毛人凤又向蒋介石做了汇报。陈仪死后第三天，蒋介石召见汤恩伯，训斥说：“陈仪依法处置，死有余辜，你还哭什么？听说你在家为陈仪私设灵堂，回去以后赶快撤掉！” 汤恩伯从此郁郁寡欢，身体状况急剧恶化。1954年5月27日，台北松山机场上，一架飞往日本东京的航班正停在停机坪上，一个面容憔悴、脸色蜡黄的汉子，随着旅客的队伍登上飞机。在即将踏进机舱的那一刻，脸上露出了悲伤的神情，长叹一声。喃喃地说：“终于可以离开台湾了。”这个人就是汤恩伯，他在飞机最后的一排座位上无力地坐下，头靠在座椅上，疲惫不堪。 就在一个多月前，汤恩伯在拍摄X光照片时，医生发现他的十二指肠上有个肿瘤，建议他去日本进行手术才能痊愈。 汤恩伯这次向蒋介石要求去日本时，蒋介石终于批准他离台赴日了。也许，汤恩伯本人并没有意识到他不会活着回台湾。 常言说“败落的凤凰不如鸡”，汤恩伯曾经是蒋介石三大军事集团首脑之一，与陈诚、胡宗南齐名，最多时拥兵50万，如今却落魄异常。汤恩伯到了日本东京羽田机场后，随即，就住进了庆应大学附属医学院。主刀的医生岛田对汤恩伯拍着胸脯说：“我一年亲自动刀割治这类手术者约三百人，开刀的成功率，不成问题。”果然，手术是成功的，术后的汤恩伯逢人便高兴地说：“我十二指肠上的瘤已经割去了，并因为我患有胃溃疡，胃也割去了三分之二，感觉良好。” 当谷正纲、胡健中前往医院看汤恩伯时，汤恩伯滔滔不绝，精神很好。谁料到几天以后，即6月29日，在抵达日本一个月零两天，汤恩伯突然病死于日本东京庆应大学附属医院。据目击者说：汤恩伯死前痛苦不堪，虽然上了麻药，但似乎无效，他在手术台上哀嚎不止，拼死挣扎。医生用力按住，直至力竭而亡。 汤恩伯的死亡，也使蒋介石态度大变，专门派出军舰到日本迎灵柩回台，7月13日下午军舰抵达基隆港时，举行了场面宏大的迎灵仪式。 7月14日下午举行家祭，15日上午举行公祭，由贾景德主持点主，黄少谷、谷正纲任司仪，“陆军总司令”黄杰率领“陆军总司令部”成员、汤恩伯旧部等人参加了公祭仪式。蒋介石也来到了极乐殡仪馆的公祭。 作为蒋介石的重要将领，汤恩伯死后还是极尽哀荣的，汤恩伯的大儿媳刘云霞甚至对人说：“如果汤恩伯不死，蒋介石要委任他做‘参谋总长’。”但事情似乎并不是这样的，在汤恩伯死后一个月，蒋介石在一次训练班上发表讲话时谈到汤恩伯似乎贬多于褒，评价不高。是言不由衷，还是有感而发？ 蒋介石是这样说的：“由于汤同志病逝于日本，今日我对他只有想念、感慨，而无追论置评的意思。我之所以要对大家说我的感想，亦只是要提醒大家，对生死成败这一关，总要看得透，也要看得破才行。汤同志之死距离他指挥的上海保卫战的时候，只有五年的光景。照我个人看法，假使汤同志当时能在他指挥的上海作战的最后一个决战阶段，死去的话，那对他个人将是如何地悲壮。我想他弥留的时候，回忆前尘，内心之感慨、懊丧和抱恨终天的心情，一定是非常难过，所以是值得我们检讨痛惜和警惕的。” 蒋介石话中有话，即汤恩伯死得不是其所，他应该在上海时就战死。这或许才是蒋介石对汤恩伯的盖棺定论。