1950年初，国民党上万残军逃入越南，遭到谅山法军猛烈的火力袭击，被打死几百人。残军向法军反击，一番冲杀后突破了封锁网。 越北的法军如临大敌，但见残军兵力不少，不敢硬来。法军指挥官采取欺骗手段，口头同意将残军官兵及眷属车运去海防，然后由海防登船前往台湾。 黄杰身为兵团司令官，缺乏基本的警惕性，在法军送来大量的食物、淡水后，下令官兵向法军缴械。在残军缴械后，法军指挥官突然翻脸，将官兵、眷属们押去指定的蒙阳。 蒙阳是个已废弃多年的煤矿，环境恶劣，四面环山，为了生存，残军不得不砍伐山上的树木、割草来搭建草棚，耗费了大半个月，才得以安顿下来。法军将残军所在的区域围住，设立岗哨、封锁线，使蒙阳成为一个集中营。 看守集中营的，除了少数法军军官外，士兵都是雇佣兵，这些雇佣兵军纪很坏，时常三五成群的进入营内，勒索财物，骚扰侮辱女眷，女眷们为了自保，纷纷换穿男人衣服，并将脸弄脏，以免被雇佣兵注意。 有一次，忍无可忍的一个残军营长，联络了十几个人，将三个落单的雇佣兵打死。法军丢了三个士兵，到营内找寻，但尸体早被残军掩埋。残军趁机派代表交涉，列举了雇佣兵的种种劣行，法军指挥官向河内总部请示后，将这批雇佣兵调换。 新来的雇佣兵，是一批投降的德国战俘，这帮士兵尽管对残军态度也不友好，但索要财物、凌辱女眷的事倒是不干。 黄杰被法军用小飞机送到河内， 软禁在一个小楼上。在黄杰的再三要求并以绝食抗议下，这才被允许去蒙阳看望部下。 当黄杰进入蒙阳集中营后，只见里面杂乱不堪，臭味熏天，官兵、眷属们形同乞丐。黄杰转了没多久，忍不住痛哭失声，官兵、眷属们见状也纷纷大哭，一时间营内哭声一片。 黄杰晚年在回忆中写道，这是他人生中，最耻辱的一天。 在黄杰兵团残部入越后不久，被歼灭、打垮桂系张淦兵团的126军残部，徐启明兵团的46军残部及游杂部队共计一万余人，由龙州逃入越南。 由于黄杰兵团轻易就范，法军对这股残军很轻视，派出军队拦截。在机枪、大炮的火力倾泻下，残军猝不及防，当场被打死数百人。 缓过劲来的残军，在126军军长张泽湘的指挥下，发起反击，强行冲过了谅山封锁线。当残军继续前进，来到了巴韩据点时，据点的法军指挥官不敢力敌，派代表交涉，以提供食物、淡水，送去海防船运台湾为条件，让残军放下武器。 这和对付黄杰兵团的伎俩如出一辙，但由于消息闭塞，这支残军并不了解黄杰兵团的遭遇。 张泽湘召集骨干人员开会，大家意见不一，主要分为两派，一派认为残军粮食告绝，弹药也不足，尽管有人数优势，但若强行通过工事坚固的巴韩据点，难度还是很大的，不如接受法军条件；另一派认为法军不可靠，一旦放下武器，就成了任人宰割的羔羊。 经过反复讨论，最终以求和派占了上风。在和法军进行谈判，达成协定后，张泽湘等十几个高级军官，在上了法军的汽车后，被送去了河内囚禁。官兵、眷属和黄杰兵团一样，在缴械后被送去了蒙阳集中营看管。 张泽湘等十几人在河内的一所监狱被关了二十多天后，法军见已解决残军的问题，便将他们也送去了蒙阳集中营。 黄杰到集中营后，让手下在山上搭建了几十个茅草屋，用于高级军官及眷属的居住，茅草屋搭好后，张泽湘等人也来了，和黄杰一同住在了山上。 截止1950年2月，被法军关入集中营的残军、眷属的人数解决三万五千余人。到了8月，鉴于越北游击队活动频繁，法军将残军、眷属运去了西南边远的富国岛。 富国岛面积约600多平方公里，岛上气候炎热，大部分是原始森林。残军到后，为了生存，搭设房屋，铺设简易道路，平整土地，使得岛上气象一新。 法军当时有将残军改编为雇佣军，用于对付越北游击队的打算，因此对残军的态度，比之在集中营时好了许多，除了不许残军出海外，在物资的供应上，倒也算是充足。 台湾的蒋介石，委任黄杰为“富国岛管训总处司令官”，算是对这个亲信的一种安慰。缺少部队的老蒋，这支残军很重视，频频派员和越南法军总司令塔西尼交涉。 塔西尼拒绝残军赴台，以种种借口拒绝。为了逼塔西尼就范，在黄杰的授意下，富国岛的残军开展“万人绝食”，将厨具拿到岛上的机场拜访。 岛上的法军只有三百人，带队军官下令将武器锁入枪械库，对残军代表说他们只是奉命行事，无意为难残军。 就在双方对峙时，一个残军士兵拿着持刀砍伤一个法军士兵。事发后，法军军官很克制，做了低调的处理。 这次“万人绝食”未造成大的冲突，也没能达到目的。直到1952年，塔西尼病死后，事情才有了转机。新任法军总司令黎多诺认为长期供养富国岛的三万多残军，是一笔不小的开支，也毫无意义，很痛快的答应了残军赴台。 1953年5月，残军装船运前往台湾，分七批运完，除千余人不愿离开外，其余人员全部到台。