1948年3月29日，“国民代表大会”在南京开幕。 东北全境“沦陷”的消息传到会场后，有些东北代表失声痛哭，与会代表在就白崇禧所作的军事报告进行自由发言时，将陈诚视为导致国民党在军事上失败的罪魁祸首。 有的代表公然提出“杀陈诚以谢国人”。 此话一经喊出，第二天，国内各大报纸纷纷刊登了相关消息，一时间“杀陈诚以谢国人”的呼声传遍了国统区。 老蒋虽然公开表示“责任在我，与辞修无关”，但是仍难以平息喧嚣的舆论，陈诚因此在国民党内的威信降到了前所未有的低谷。 5月1日，陈诚赶到南京面见老蒋，提出免去本兼各职，10日正式递交书面辞呈，12日老蒋批准了陈诚的辞职报告。 10月，在老蒋的建议下，陈诚赴台湾养病。 然而，在熟悉国民党高层政治内幕的人士看来，老蒋的这一建议，实际上是在传递一个隐晦的政治信号，陈诚将在台湾重新获得重用，为其经营最后的退路。 陈诚也是极其聪明的，遵照老蒋的建议来到台湾后，他很巧妙地做了一件事，将珍藏在身边的一架望远镜和一支手枪，赠送给了台湾警备司令彭孟缉。 据说，这是自北伐以来，陈诚一直带在身边最为心爱之物。 有人解读陈诚的这个举动，对于戎马半生的军人来说，此举再清楚不过，此行台湾看来他是打算彻底解甲归田了。 但是，另一些理性人士却对陈诚的举动发出了意味深长的讥笑——陈小鬼，这一手以退为进，玩得真是入情入境，假礼貌，真狡猾啊。
