1944年9月，孙良诚接到日伪命令，让他率三万伪军从河南移防苏北，副司令张维玺拒绝前往，说：“你要当汉奸，别总拉着我垫背。”

张维玺是西北军老将，和孙良诚、韩复榘、石友三、孙连仲、刘汝明等人被称为冯玉祥的“十三太保”。

中原大战后，冯玉祥兵败下野，张维玺拒绝了南京的任命，为西北军的东山再起四处奔走，但未能如愿。抗战爆发后，张维玺接受了“军委会中将参议”的头衔，留在大后方。

1942年8月，日军将张维玺的父亲张安然、妻子王仲瑛等亲属抓捕，软禁在济南，并派人给张维玺传话，让他接受汪伪任命，去济南担任伪职。

张维玺得知父亲、妻子的处境后，心急如焚，去找西北军老人鹿钟麟商议对策。鹿钟麟说：“投敌的事肯定不能干，但是得想一个稳妥的办法，把你的家人救出来。”

鹿钟麟提议，让张维玺去找孙良诚求助，让其出面将家人保释出来。几个月前，孙良诚率二万余人在鲁西南投敌，被任命为伪“开封绥靖公署”主任、伪第二方面军总司令。

张维玺认为事关重大，便又去向老长官冯玉祥请示。冯玉祥写了一张纸条，上书八个字“悬崖勒马，立功赎罪”，让张维玺转交给孙良诚。

老蒋也派人转告张维玺，让他去开封后，尽最大可能争取孙良诚的反正。

11月，张维玺秘密来到开封去见孙良诚。孙良诚从张维玺手中接过冯玉祥写的纸条，扫了一眼后，放在桌上低头不语。

张维玺向孙良诚说明来意后，孙良诚拍着胸脯说：“你我兄弟不分彼此，这个忙一定帮，你就暂住在我这里，等候消息。”

在谈话中，张维玺忍不住说：“少云（孙良诚的字），你千错万错，不该走这条路啊。”

孙良诚说：“汤恩伯当了第一战区长官后，觊觎我这个鲁西行署主任的地盘，向重庆打报告，让我去何柱国的十五集团军当副总司令。当年我指挥十几万大军的时候，汤恩伯、何柱国连师长都不是，这个气我可受不了。在我拒绝赴任后，汤恩伯断了我的军饷，弟兄们连饭都吃不饱，我这也是走投无路。”

孙良诚担心张维玺再质问他当汉奸的缘由，匆匆结束了谈话，派人将张维玺送到伪绥署的招待所住下。

几天后，孙良诚设宴款待张维玺，手下的伪军头目悉数参加。席间，孙良诚突然宣布说：“南京的汪先生对楚玉（张维玺的字）的到来很高兴，已发表任命他为第二方面军副总司令。”

张维玺大惊失色，说：“这个差事我是不会当的，我把你当朋友，找你来帮忙，你却给我来这手。”

孙良诚说：“兰江（刘郁芬的字）如今是参谋总长，我把你到的消息告诉他，他专门向汪先生给你讨要职务。”

刘郁芬是西北军的“五虎将”之一，早年当过孙良诚、张维玺的长官。张维玺听后，怒气冲冲的说：“你给兰江马上发电报，替我推掉这个任命。”

孙良诚说：“这件事已定好，不能更改，你就留下来给我帮忙吧。你的家人正在到开封的路上，马上就会和你团聚。”

说完，孙良诚借口离开，张维玺也想走，却被其他伪军头目拦住。就这样，张维玺在孙良诚的出卖下，被裹挟留在了开封。

张维玺拒不上任，住在开封南郊陪伴父亲。不久后，孙良诚成立了一个干训团，让张维玺兼任团长。

张维玺认为可以借这个职务做一些事情，便答应了。干训团组建后，在张维玺的经营下，吸纳了大批抗日人员，他们暗中袭击日军巡逻队、岗哨、搜集情报等，积极进行着抗日活动。

开封的日军对干训团不放心，派了一个姓郭的副队长。军统派到干训团的潜伏人员调查后，对张维玺说：“郭队长是来监视干训团的，不能让他留下。由我们的人动手，你打好掩护。”

不久后，郭副队长和一个日本宪兵外出后失踪，宪兵队到处搜寻无果后，怀疑是干训团的人干的。面对宪兵队长的质问，张维玺从容应对，让其无功而返。

对张维玺私底下的活动，孙良诚多少是知道一些的，但他不想把事情做的太绝，也就睁一只眼闭一只眼。

1944年9月，孙良诚接到命令，让带着伪第二方面军去苏北驻防。张维玺去找孙良诚说：“你要当汉奸，别总拉着我垫背，我就待在开封，哪里都不去。”

孙良诚率大队人马离开后，留在开封的张维玺成为日军的眼中钉肉中刺。一天，井福（日军派到伪第二方面军的顾问）来找张维玺说：“孙总司令都走了，干训团为何还留在开封，限三天内开拨。”

张维玺说：“我父亲一个多月前去世，要守丧，我身体也不好，就不去苏北了。”

井福说：“此事由不得你，马上做好走的准备。”

几天后，井福带着一百多日军进驻干训团，强令所有人员向苏北转移。张维玺成为“重点关照”对象，被井福派几个人一路“护送”去了泰州。

到泰州后，张维玺因水土不服，腹泻发烧，日军派来军医给张维玺“诊治”后，打了一针。军医走后，张维玺的病情加重，进入弥留状态。

张维玺的家人找来当地医生抢救，来的两个医生看了张维玺的情况后表情复杂，欲言又止，当晚，张维玺不治而死。

张维玺之死疑云重重，被投毒的可能性极大。当有人提出检查尸体，查明死因时，张维玺的妻子哭着说：“他已经做了他该做的，就让他安静的去吧。”