1938年8月，川军彭焕章、刘元瑄等七名师长联名，列举了四川省代主席王缵绪的五大罪状。蒋介石大怒，大骂：“这几个师长又出岔子了！” 1938年1月20日，刘湘在汉口病故，潘文华便统率了留川的五个师、两个独立旅及16个保安团。 当时，蒋介石在四川还立足未稳，为了拉拢潘文华这股力量，委任他为第二十八集团军总司令。 不久后，四川省主席由王缵绪代理，为了讨好蒋介石，王缵绪将龙云与潘文华、邓锡侯、刘文辉等人签订的三省联防密约一事，向蒋电报告密。恰好潘文华截知了告密电文，于是约请邓锡侯、刘文辉等人密商，决定由彭焕章、刘元瑄等七名川军师长联名，列举了王缵绪的五大罪状电蒋驱王，同时命令各部队向省城逼近，作好战斗准备。 蒋介石得到消息，怒不可遏，立即召见邓锡侯、潘文华，当面宣布将王缵绪免职，由蒋兼任四川省主席，蒋说：“此次事件，彭焕章作为军人竟领衔抗上，应受处分！” 邓锡侯、潘文华当即承担责任：“彭是我们的部属，请委员长先处分我们！”蒋听后默然，只好不了了之，但心中对川系将领有了极大的戒心。 1944年12月上旬，蒋介石委任信任的川军将领杨森为贵州省主席，并以此为交换条件，召杨森到重庆谋划一场阴谋。 有一天，潘文华突然接到蒋介石的急电，要他火速赴渝。他刚行至重庆市郊小龙坎，便和前来迎接他的杨森相遇，并应邀赴杨森的公馆去叙谈。 车上，潘文华向杨森打听蒋这次召见究竟何事，杨森故作神秘地说：“委座对你非常重视，当然是军国大事啰！”弄得潘文华一时摸不着头脑。 到了杨森的公馆，一顿酒足饭饱之后，杨森把潘文华领进密室，劈头便说：“现已截获刘自乾（刘文辉）通敌罪证！决计剪除这一祸害。委座制定周密计划，交你我老兄弟执行。” 潘文华听罢心里一震，强装镇定地问：“自乾通敌，可有确证？今大敌当前，举措必须慎重，倘操之过急，万一为日寇所乘，你我岂不成了千古罪人！” 杨森忙说：“当然有确证！你要相信委座对西康情况了如指掌，西昌行辕主任张笃伦每天都有电报发来。这次行动决操胜算，仲三兄不必担心。” 杨森见潘沉默不语，又不无威胁地说：“你我倚为肱股，参与机要，这事只能奉行，没有回旋余地。” 潘文华想进一步摸摸底细，便问杨森：“那刘自乾具体罪行究竟怎样？计划又到底如何进行？也需让我了解了解，才好下行动决心。” 杨森见潘文华有转意，便说道：“刘自乾通敌的罪行嘛，目下暂时不便说出，等待问题解决后再行公布。至于行动嘛，主要是借你的人缘声光，掩护我动手执行。” 潘文华还想深问，但老奸巨滑的杨森却婉言说：“仲三兄旅途劳顿，不妨早些休息。这事我先给你吹吹风，待明晨8时委座召见之后，你我再具体详谈。” 原来，自从张群当了四川省主席后，蒋介石认为通过“稳邓、抚潘”，川局已定，于是把打击目标转向独揽西康军政大权的刘文辉，必欲去之而后快。 第二天一早，杨森与潘文华一同去见蒋介石，进室寒暄让座之后，蒋介石来了个开门见山：“目前不断截获刘文辉通敌叛国罪证。为了安定抗日后方，决心予以翦除。” 潘文华昨夜几乎通宵未眠，一直在腹拟对付蒋介石的办法，所以当蒋的话音刚落，坐在沙发上的潘文华胸有成竹地起立说：“委座！大敌当前，既经掌握刘文辉确凿罪证，最好公诸裁判。此事不必兴师动众，尤不宜加以袭取。” 蒋介石很不高兴地摆手示意潘文华坐下，接着提高了嗓门：“此事等得手后再公布罪状，较为妥善！” 潘文华急谋脱身，推脱说：“那么文华同子惠（杨森）下去商量商量，协同进行。” 蒋介石点头说：“很好，很好！一切责任由我承担。” 回去后，杨森对潘文华说：“我给你透个信。你还未来之前，委座就表示准备对你寄以封疆重任！” 潘文华故意试探地问：“是不是把刘自乾罢下来，叫我上？” 杨森说：“可能还不止于此！你我还是先谈具体行动。”于是，杨森便把蒋介石的密谋透露给潘，并 郑重地说：“仲三兄，现在你我共同承担机密，军事上我有绝对把握，关键就看你的支持了！” 潘文华回到成都，便约总参议钟体乾及参谋长杨续云在书房密商对策。钟体乾说：“蒋介石很难缠，杨森不可交。” 杨续云说：“蒋介石自从在西昌设‘行辕’以来，就一直在打刘自乾的主意。这次适逢杨森的二十军辗转到了与四川毗连的贵州，更触动他的恶念。如果阴谋得逞，唇亡齿寒，下一步便该我们与邓锡侯走上末路了！更危险也更现实的可能是，以刘自乾的机警顽强，定然起兵反抗，那样便会酿出旷日持久的混战局面。” 究竟如何应付蒋介石，潘文华决定三十六策以“拖”为上。就这样，一直拖到了第二年4月，蒋介石曾两次电召潘文华赴渝，都被潘文华称病婉拒。蒋介石自知潘文华不从命，且刘文辉已有准备，恐其阴谋落空，不得不将杨森的二十军调往广西战场。 此事之后，蒋介石对潘文华的不满日甚，开始逐步削弱其兵权将其架空，而这种种打压，也让潘文华不得不考虑自己的出路，最终毅然走上了起义的道路。
