1947年7月，蒋介石派陈诚担任东北行辕主任，但陈诚的表现还不如熊式辉 、杜聿明。在1948年4月的大会上，东北代表甚至提出“杀陈诚以谢国人”。 在东北连吃败仗的陈诚不愿再去趟浑水，便托妻子谭祥去走宋美龄的关系，谭祥是宋美龄的干女儿，在宋美龄的干预下，蒋介石同意了陈诚的请辞。 1948年10月，蒋介石召见陈诚，提议让其前往台湾的阳明山去养病。这时的陈诚除了一个陆军上将的虚衔，再无重要职务，所以他去台湾的时候，只有妻子谭祥、副官冉广银等几个人陪伴，昔日炙手可热的陈诚，在机场为他送行的人连10个人都不到。飞机到台北后，台北松山军用机场前来迎接的人也不过20人，其中还有一半是好事的记者。 场面看似冷寂，但是宦海沉浮多年的陈诚却很有信心，因为他太了解蒋介石了，蒋突然让他来台湾，肯定必然有后续安排，陈诚猜测蒋介石是准备让他为其经营台湾。 1948年12月29日，蒋介石发布了“总统令”，任命陈诚为台湾省主席兼台湾警备总司令，之前的台湾省主席魏道明在”总统令“发布前毫不知情，还去视察台北的编练部队。 蒋介石逃台后，在1950年3月，行政院长阎锡山“主动辞职”，接着在蒋的提议下，陈诚顺利当选行政院长。蒋介石到台后，对昔日的老部下大都冷藏，但却将陈诚视为最信任的人。 1954年2月16日，蒋介石又为陈诚造势说:“我认为副总候选人的人选，以陈诚同志为最相宜。”蒋介石都如此说了，底下人自然心领神会，陈诚顺利当选副总统。。 1957年10月，蒋介石又提名陈诚为国民党副总裁，并高票获得通过，此时的陈诚在台湾这个小岛上，可谓是“一人之下万人之上”。 但是陈诚在台湾期间的心理压力很大，他很清楚自己只是名义上的蒋的副手，实际上蒋经国才是真正的接棒者。陈诚在大陆时期，不仅自己不吸烟，下属吸烟如果被看到也会挨训的，但是在台期间陈诚却染上了烟瘾，一天甚至要抽二三十根。陈诚抽烟倒是不挑剔，只要有的抽啥牌子都行。 陈诚这个行政院长并不好当，虽然蒋介石逃台时运来了大量的黄金，但台湾本省的财政收入还是有限，以这些收入不仅要供养台湾的60万军队，还要保障民生，很长一段时间都是入不敷出的。 公允地讲，陈诚军事能力为人所诟病，但是他的个人廉洁操守及在台湾搞的土地改革，还是有不少亮点的。陈诚在台湾推行“三七五减租”，大大降低了佃农给地主的田租，而且还规定地主必须拿出大部分土地，不以赎买而是以多年加租的形式出让。 台湾的土改搞得是风风火火，地主们大骂陈诚是“贼仔诚”，而台湾的农民则称夸赞陈诚是“阿公”，陈诚在台湾的土改意义很大，这项措施让台湾原本的600多万人，以及从大陆逃台的200多万军民，暂时的温饱问题得到了解决。 到台后，陈诚一改此前的倨傲，对到台的民国元老和军政前辈都非常客气，他还多次叮嘱手下，对台湾各界名流都要尊敬和礼遇，但是随着陈诚的威信越来越高，蒋介石的猜忌心大气，有时就不免“敲打”几下。 1958年是陈诚六十岁生日，在这一天，陈诚和胡适、蒋梦麟、梅贻琦王世杰四人一同结伴郊游聚会。不料，蒋经国操纵的报刊上将陈诚等五人同去郊游这件普通的事情，居然比喻为“汉惠帝和商山四皓”，这让陈诚心烦意乱，心情更差了。 1961年，陈诚屡屡出现疲惫不堪的症状，去医院检查后发现肝脏严重肿大。不久之后，陈诚对身体做了进一步的检查，被确诊患了肝癌。此时的陈诚也意兴阑珊，不愿意再当蒋介石的副手了，他在给大女儿陈幸的信中写道：“ 我身体疲惫不堪，真的不愿意再做了，俗话说当家三年狗都厌，我已经在位置上九年多了，也得罪的人不少，而且我的年纪也大了。” 1963年9月，陈诚要求辞去“行政院长”一职，蒋介石只同意准假一个月。同年11月，陈诚再次以身体原因提出辞职，蒋介石这次同意了。 陈诚辞职后不久，他在美国的子女们都回到探望看望，这是陈诚后半生难得的和家人团聚的时光。陈诚的肝癌扩散得很快，到了1964年9月，病情已经相当严重，蒋介石、宋美龄多次前来看望，并指派医生，但是自然规律不是以人的意志为转移的，1965年3月5日，陈诚病死，年67岁。 蒋介石曾有一句名言叫“中正不可一日无辞修”。中正指的是蒋介石，辞修就是陈诚，可见蒋介石对陈诚的信任。陈诚病逝后，蒋介石为其举行了隆重的葬礼，陈诚遗像上方是蒋介石亲笔写的:“党国精华”四个挽词。 陈诚的肝病和他的心情抑郁有很大关系，他在台期间的压力是很大的，陈诚曾对长子陈履安说:“如果我能够在“总统”（蒋介石）之前先死的话，我就愿意走了。” 耐人寻味的是，陈诚在遗嘱中闭口不提“反攻大陆”，陈诚病逝后，蒋氏父子曾派人让谭祥修改遗嘱，但是被拒绝了。 陈诚病死后不久，周总理在迎接李宗仁回国时，曾谈及陈诚，说：“他是一个爱国的人，只可惜他的身体不好。”
