抗战胜利后，国民党军由处事苛刻陈诚主持整编，致使大批编余军官生活无助，他们中间流传着一句顺口溜：此处无人要，延安去报到。鉴于编余军官的复杂性，蒋介石成立了一个干部训练团负责收容一些将佐级的高级军官，这些将佐中有不少人是黄埔出身，平日里眼高于顶，哪里能放下身架去做平常事，因此在训练班一待就是半年，竟然分配不出去。 时间一次，编余的将佐们不少也生活困难，其中有一位中将的夫人因忍受不了贫困，竟然跳了南京的燕子矶。于是就有了“哭陵案”，好几百名编余军官齐集中山陵，诉说委屈。此事对影响甚大，蒋介石特别气愤，因为这次闹事的主角竟然是他的黄埔生，对军队影响太大了。 善后如何处理？就在蒋介石无人可用之时，黄杰站了出来，表示愿意收拾这一局面。见黄杰如此表态，陈诚也有所感激，面前的这个烂摊子，让陈诚也感到了棘手，黄杰主动抢过这吃力不讨好的事，要让他省去多少骂声。 在黄杰的负责下，对这些编余军官重新制定了政策，不仅解决了他们眼前的生活困难，对其日后出路也作出了安排，最后是皆大欢喜，将一场风波消弭于无形。黄杰处理哭陵事件，让他在国民党将领中赢得一片赞扬之声，都说他为人厚道。不过，他的领兵才能实属一般，所以蒋介石一直没有再给他兵权。直到1949年8月，程潜和陈明仁在湖南起义后，蒋介石才让黄杰担任第一兵团司令。 黄杰当时根本不愿意去当这个兵团司令，他后来回忆说说：“就当时军事各方面的态势来说，可以形容为百孔齐穿，千疮百孔。在这样危疑震撼的状况下，去接受如此艰巨的任务，内心感到万分惶恐。” 白崇禧当时妄图带着华中的国民党军南窜，或是进入云南、广西，凭借西南天然地形继续作战，或是直接进入海南岛。最终，后者的意见占了上风。但是，逃往海南岛的计划最终还是落空，解放军主力行军迅速，名义上归白崇禧指挥的几个兵团各自为战，纷纷溃败。 最后，白崇禧所辖的第三、第十、第十一兵团不但转往海南岛未果，绝大部分尚未达到钦州之前即遭解放军合击包围，全军覆没。最后剩下黄杰的第一兵团在东、北、南三个方向的包围下，孤军西进。 1949年12月初，黄杰带着第一兵团残军逃入越南，不料法军突然翻脸，黄杰和三万多残军及眷属被关进了集中营。 按照最初的洽商，法方同意黄杰部借道海防转回台湾，所部及眷属分为500人一组，在指定地点将武器交付封存，由法方护送至码头，所经路线由法军负责一切安全，并提供粮食补给，残军由军官带队，保证军纪严明。 “协议”达成后，黄杰下令兵团所属的各军、师向边境的爱店集结，不料命令刚刚下达，解放军已经尾随而至，全力截击。黄杰兵团的第十四军第六十三师大部被歼灭，第九十七军副军长郭文灿被俘。时间紧迫，黄杰已无法协调各部行动，他只好下令紧急逃入越南，惶惶如漏网之鱼。 残军进入越南后，法方也不敢明目张胆地支持残军，所以黄杰的日子也不好过，法方派专机将他接到河内，软禁在一座洋楼里。 至于黄杰的部下，则被集中在蒙阳与来姆法朗两个区域。此时正逢越北雨季，阴雨连绵，半月不开，三万多人包括官兵和眷属，不分男女老幼，全都挤在这狭小的地方，艰苦异常。一周过后，黄杰获得法方同意前往探视官兵，当他踏入脏乱的营区时，一些人竟哭成一团。法方再将黄杰等残军高级军官移至宫门软禁，黄杰和几个将领抱头痛哭，但却无可奈何。 三年后，黄杰才和其他残军及眷属被运回台湾，到台后的黄杰，受到蒋介石、蒋经国父子的信任，仕途一帆风顺。1953年被任命为台北卫戍司令，晋升二级陆军上将，风头之健，就连胡宗南、汤恩伯之流也望尘莫及。 黄杰与蒋经国的关系也很好，当时蒋经国已露出“接棒”的端倪，开始插手军队，只是苦于在军中缺乏基础，于是利用政工人员对军事长官进行监督，这就引起了时任陆军总司令的孙立人不满。孙立人当时可是台湾军界的支柱性人物，因为他曾有留美的经历，所以美国人支持他，甚至外界有所传说，美国人打算扶持孙立人。孙立人虽然并无异心，但他对蒋经国绝对是没有好感的。于是蒋经国转而拉黄杰，其实也不用拉，黄杰对蒋经国是天生的亲近，两人本身私交就不错。 黄杰对孙立人也看不惯，特别是那种西式派头让他反感。 据说，有时开军事会议，两人竟相对无语，甚至连招呼也懒得打。所以后来发生“孙立人兵变案”，黄杰是抱着幸灾乐祸的心理看着孙立人垮掉的。这也为黄杰的仕途扫清了障碍，孙立人留下的陆军总司令空缺，顺水推舟，非黄杰莫属。 大概黄杰也认为自己在孙立人这件事上做得有些不光彩，所以当他后来听说孙立人一家生活窘迫的境遇后，也不禁动了恻隐之心，向蒋介石打了一个报告，请求给予孙立人一定的经济补助。为了能让蒋介石通过，他还事先关照宋美龄，可见用心良苦。 黄杰在台湾一直受到重用，以他的资历，最后竟然还挂上了一级上将的肩章，先后担任过“台湾省主席”和“国防部长”等要职。1995年1月，黄杰病死于台北。