1949年10月，蒋介石对陈诚说：“汤恩伯辜负我对他的器重，让他从金门回来。”陈诚询问汤恩伯到台湾后授予何职，蒋介石只是摇头，这时的汤恩伯在蒋介石的眼中，已成为多余的人。 蒋介石对汤恩伯由倚重转为冷落，又由冷落转为反感的态度，决定了汤恩伯在台湾的可悲处境。 赋闲于台北市锦州路家中的汤恩伯，十分苦闷。1951年11月，汤恩伯移居到台北郊外。他邀约在台旧部组织小型读书会，有时也举行座谈会，探研社会、军事等方面的问题。 后来，汤恩伯感到组织旧部学习的方式不是很合宜，便放下一切。深居简出，很少同过去的同事、友人往来，而是潜心于文学艺术。 汤恩伯除了喜欢诗，还爱好戏剧，尤其对梅兰芳的京剧兴趣甚浓。他将自己三个女儿取名为汤国梅、汤国兰、汤国芳。 昔日风风光光的汤恩伯，移居乡下以来，逐渐到了需要节衣缩食的境况，陷入为生计而精打细算的苦闷之中。他在1951年3月21日的日记中这样写道：至台后闲居一年，目前均感生活困难。我此次迁乡居住，本拟节省开支，不料修理房舍又超越预算，反增许多开支。不知住定后，能节省否。 到了年末，汤恩伯家中已到了入不敷出的境地。只得辞退了安保人员。不过，据友人回忆，每当朋友光顾，汤恩伯一定留下来吃饭，并让厨房加菜，“打肿脸充胖子”。 有一次，旧友徐复观去三峡镇看汤恩伯，汤恩伯正在当地的一家小诊所里割治盲肠炎。徐复观问汤恩伯为何不到中心医院去做手术，汤恩伯无奈地说：“没有关系，这里便宜。” 郁郁寡欢的汤恩伯，胃疾复发且日趋严重，为了方便就医，他不得不迁居台北市。但是，治了相当长的时间，病情却不断加剧。请中心医院的外科权威医师张先林检诊后，发现除胃部溃疡外，还有十二指肠肿瘤。张医师认为台湾技术有限，应当及早出去进行手术治疗，否则，在半年内恐有性命之虞。 汤恩伯一听此言，一连四天四夜难以安然入眠。身在美国的夫人王竟白得知病讯，十分着急，电邀汤恩伯赶紧赴美就医，说美国的波士顿对此病手术是相当成熟的的。可是，汤恩伯在台湾的小老婆钱婉华却不赞同，要汤恩伯去日本医治。 汤恩伯反复考虑后，认为去美国治病，花销太大，而到日本医治，至多七八千元，还是可以应付的，于是他倾向于去日本。 其实，汤恩伯去年就想过要到日本治疗，曾向蒋介石提出申请。蒋介石看到汤恩伯的申请报告后，签了“就地医治”四个字，并生气地说：“有大过的人，还想去日本治病？” 后来，雷震动员汤恩伯到台北中心医院住院治疗，汤恩伯说：“我的病在台湾治不好，住院也无益。要治好，只有到日本。我申请到日本治，总统又不同意，没有办法，只有等着死！” 1954年5月，汤恩伯再次提出去日本治病的申请，蒋介石同意了。5月27日，汤恩伯飞赴日本，进入东京庆应大学附属医院，由岛田信胜博士担任他的主治医师。 第一次手术后，情况良好。谷正纲、胡健中两人路过东京时，曾到医院探望过汤恩伯，汤恩伯一见两人，便高兴地说：“我十二指肠上的瘤已经割去了，并因胃溃疡，胃也割了三分之二。” 然而，几天后，汤恩伯病情突然严重，主治医师曾为之连续实施了第二、第三次手术。体质渐弱的汤恩伯在6月29日第三次手术时，死在了手术台上。 汤恩伯死去的消息传到台北后，有些人的第一反应，是怀疑被报复的结果。据陪护汤恩伯的亲属说，按日本医院的制度，护士每次到病房为病人注射后，都要把盛针药的空瓶放在桌子上，让病人家属知道注射的是什么药。但最后一次却一反常例，不见有针药瓶留在桌子上。注射完不久，汤恩伯便暴死在手术台上 在汤恩伯死后，蒋介石派陈良去日本视殓，陈良回台后报告称：汤恩伯的确是死于日本医师的疏忽，但是不是死于恶意，而恰恰是死于善意之举。汤恩伯到庆应医院后，许多日本友人就去关照医师，说要加倍细心治疗。因此，医师岛田信胜格外用心诊治，其他医护人员对之也特别客气，遇事予以通融，不完全依照医院规则。 正因为如此，铸成了一些错误：照理，割胃要放橡皮管，以便淤血流出，但医师怕汤恩伯有痛苦，就略而不用；动这么大的手术后，二个月内不应洗澡，但汤恩伯在首次手术半个月后，医师居然同意他洗澡的要求；动大手术后要绝对安静休养，一周内绝不准许接见客人，家属也不例外，医院却例外准许汤恩伯家属在房间照料，小孩进去也不禁止；汤恩伯手术后未能进食，口中乏味，很想吃些酱菜，医师也未阻拦。诸多善意相待，其实都不利于治疗和康复。 但是，也有人认为，这种所谓的“善意”其实就是故意为之。 汤恩伯死后，胡宗南约友人前来，拿出汤恩伯在日本医治期间写给他的几封信，递给他们看。其中一封，已经潦草得不能成字了，这其实是汤恩伯的绝笔。信中大意是：汤恩伯无法支付医药费，恳请胡宗南在蒋介石面前为他想点办法。 胡宗南把要求补助药费的报告送到蒋介石手中，被批准拨给3000美元，可是，钱拨下来的时候，汤恩伯已死数日。