1975年，大特务周养浩被特赦后想去台湾，正要动身，蒋介石却死了，蒋经国拒绝他到台湾来。周养浩滞留在香港，一时间竟不知去哪里。
沈醉、周养浩和徐远举，并称为 “军统三剑客”。但在改造期间，周养浩和徐远举却一度对沈醉心怀恶意，想要置他于死地。
有一次，徐远举突然抄起椅子，猛地朝着沈醉的脑袋砸去，一旁的宋希濂反应迅速、及时将椅子夺了下来，这才让沈醉躲过一劫。
倘若那椅子真的砸到沈醉头上，他就算不死也会落下残疾。要是那样，就不会有后来那部精彩纷呈的《沈醉回忆录》了。
周养浩虽然不像徐远举那样心狠手辣，但也曾有一次，将脸盆朝着沈醉扔过去，热水溅了沈醉一身。
后来，在管理所干部耐心的教育之下，周养浩和徐远举才终于收起了针对沈醉的心思。不过，平日里他们见面时，依旧是冷着脸，视若仇寇。
周养浩、徐远举和沈醉在军统共事的时候，关系其实不错，之所以会反目成仇，只有一个关键原因。
1949年12月9日，卢汉在昆明发动起义，将李弥、余程万、沈醉等蒋系的重要人员扣押。沈醉被抓之后，供出了周养浩和徐远举的住址。
彼时，徐远举作为保密局西南区区长，周养浩身为副区长，两人刚从成都乘飞机抵达昆明。他们住进了由沈醉安排好的住所，想着在昆明稍作休憩一两天，便转机前往台湾。
起义的第二天凌晨，周养浩还在睡梦中，被敲门声惊醒，他起身去开门，门刚打开一条缝，几个荷枪实弹的士兵便猛地将门撞开，黑洞洞的枪口瞬间对准了他。
周养浩吃惊的说：“你们这是干什么？是不是抓错人了，我可是保密局的周养浩。”
带队的军官大声说：“抓的就是你，西南区副区长周养浩。”
周养浩一听，心里那个后悔啊，早知道编个假身份了。隔壁房间的徐远举，被抓的过程，和周养浩相仿。
眼看马上就能去台湾，和保密局长毛人凤会合，却因为被沈醉供出了藏身之地，成了阶下囚，周养浩和徐远举心中的愤怒与不甘，可想而知。
1960年，在功德林改造的沈醉，上了第二批特赦人员的名单，而周养浩、徐远举不在此列。
这里面主要有两个原因，一是，沈醉是军统元老，戴笠的亲信不假，但他担任的主要职务是总务处长，干的“脏活”不多，手上血债也较少，加上戴笠死后，沈醉在毛人凤排挤之下，被打发去云南当了站长；而周养浩、徐远举可称的上是血债累累，又是毛人凤的心腹。
二是，沈醉在改造期间，表现很好，加之在卢汉起义时，在起义通电上签字，虽然有被迫的成分，但多少也有态度在里面；反观周养浩、徐远举，改造期间属于和黄维一般的“刺头”，周养浩总是阴沉着脸，怪话连连，徐远举脾气暴躁，动辄和管理所的干部、改造的“同学”吵架。
1973年1月21日下午，在对战犯缝衣质量的检查中，徐远举同组的人批评他：“老徐，你看看这针脚，歪歪扭扭的，好多地方都没缝好，这扣子也钉得松松垮垮，根本不符合要求，得重新做。”
徐远举大声吼道：“我都这么大岁数了，做这些本就不容易，你们还挑三拣四至于这么较真吗。”
徐远举越说越气，和同组的几人大吵了一通，第二天凌晨，他大喊头疼，痛苦不已，被管理干部送去北京复兴医院。
经过几个小时的抢救后，医生无奈地宣布：“抢救无效。”
徐远举这一死，让周养浩很是难受，因为在改造的战犯中，能和他说得来的，本来就没有几人。起初，周养浩以“顽固分子”自居，还想和另一个“顽固分子”黄维交朋友，不想黄维向来瞧不起军统特务，对周养浩一点好脸色都不给。
就在周养浩认为他要终老于监狱时，1975年，毛主席就战犯的问题，作了长篇批示，要求将所有在押战犯释放，在释放时举办欢送会，发放零用钱，对于年老体弱、身患疾病的，要给予精心治疗，要关心他们。
毛主席还明确批示，释放的战犯去留自由，他们可以去任何想去的地方，有关部门应给予充分的协助。
大部分战犯都愿意留下，但还是有十人提出要去台湾，他们是：周养浩、王秉钺、王云沛、段克文、张铁石、陈士章、赵一雪、张海商、杨南邨、蔡省三。
人民政府尊重这十人的意愿，为他们办理赴港手续，还细心准备了适合香港气候的衣物和充足的费用，并安排香港的旅行社负责照顾他们在港期间的生活。
十人刚到香港，就传来了蒋介石病死的消息，他们想去吊唁，却被台湾方面告知“情况不明，暂不能来”。
十人又待了一段时间，发现台湾方面不仅没有接纳他们的意思，反而是戒心十足。其中一个重要原因，是台当局见战犯们受到善待，被特赦，担心他们到台后说出真相，使得国民党在岛内民众面前失去 “颜面”。
在蒋经国主持的一次会议上，有人就公开说：“若此时接纳这十个人，无疑是自打脸，让我们陷入尴尬的境地。”
绝望的张铁石自杀在所住的酒店，周养浩等四人先后去了美国，张海商等三人返回大陆，蔡省三、王云沛留在了香港。
台当局的冷酷无情，让周养浩彻底寒心，后来在接受采访时，说：“我能和家人团聚，要感谢毛主席的伟大政策。”
