1959年，中共中央在杭州召开了一次工作会议，期间中央委员们共同商讨了两个议题：其一是该如何应对困难时期，平衡粮食与日用品的供需关系，尽量保障老百姓的基本生活；其二是“大跃进”是否应该停止，工、农业建设中是否存在“左”的倾向。

这次会议全程充满了紧张、敏感的氛围，中央委员们围绕着几个关键细节展开了一系列争辩，谁也说服不了谁。而主持会议的毛主席也是左右为难，不知该如何处理此次党内争端，最终只得沉默以对，没有在会上表明任何态度和想法。

会议休息期间，时任中央办公厅主任的杨尚昆同志找到毛主席，询问对否要撰写会议记录和存档报告，毛主席稍加思索，摆了摆手表示不需要。可就在此时，毛主席的机要秘书胡乔木突然告诉主席，中央办公厅已经提前在会场安装了录音设备，所有人的发言都被录了下来。主席闻讯后勃然大怒，当即严厉批评了杨尚昆同志，并勒令他立即销毁所有录音带。

毛主席对于录音和录像很是敏感，向来都是少用、慎用，比如有一次，他在出席外事活动的时候，全程被新华社、人民日报社的记者跟拍，几乎没有任何私人空间可言。这让主席很是气愤、不满，于是他便狠狠批评了新华社、人民日报社的记者，将他们全部赶走。除此之外，主席认为录音和录像很容易引起舆论非议，影响社会整体意识形态，甚至动摇国本、政体。

当年苏共召开“二十大”的时候，赫鲁晓夫当众批判斯大林的全过程被录音机完整记录下来，并面向社会公开，苏联民众被这突如其来的“政治倒算”激怒，大家自发走上街头进行游行、抗议，要求赫鲁晓夫收回对斯大林的批判。但赫鲁晓夫却坚决不妥协，他竟然直接派遣军警镇压游行群众，酿造了一系列血淋淋的惨案。西方媒体闻讯后，马上大肆报道此事，并顺势抹黑苏联和共产主义，在国际社会上引发了极为严重的负面影响，这也为苏联日后的解体埋下了隐患。

1959年的录音风波结束后，杨尚昆同志充分吸取了教训，除非必要否则绝不使用录音、录像设备，至于会议记录也尽量予以精简，只记录重要的部分，其余则全部删减，以免闹出什么乱子。可让杨尚昆同志万万没想到的是，就在动荡爆发之后，江青等人故意“翻旧账”、摆弄是非，声称杨尚昆同志利用录音设备故意窃取国家机密。杨尚昆同志连忙为自己辩解，结果却毫无作用，江青最终还是通过卑劣手段将他“打倒”，他在1966年下旬被革除职务，圈禁在一座破败的小院子中“反省”。

在此期间，杨尚昆同志始终保持着积极上向的态度，以饱满的精神应对迫害和摧残。而且他还凭借着惊人的毅力，重新阅读、学习了一系列共产主义著作，提高了自身的能力和素质。动荡结束后的1978年，杨尚昆同志获得平反，并重回领导岗位任职，1980年，他被推举为全国人大副委员长，1981年兼任军委秘书长和政治局常委。

任期内，杨尚昆同志积极协助邓公推行改革，大力建设市场经济，让中国迅速摆脱贫困和落后，实现了长足发展。80年代中期，杨尚昆同志又联合解放军总政部发起了“大裁军”，一口气裁撤了百万大军，极大缩减了国防开支，缓解了国家财政压力。

1988年，杨尚昆同志被选为国家主席，不过他并没有履职多久便主动提出退休。晚年的杨尚昆同志将主要精力放在读书和养生上，他每天都要花四个小时时间认真阅读政治、经济类书籍，孜孜不倦的在知识的海洋中遨游，遇到不懂的地方，他也会虚心向专家学者请教，从来不会“摆架子”、讲威风。而为了维持身体健康，杨尚昆同志一直规律生活，每天坚持锻炼、吃素食，几乎不碰任何荤腥。

1996年，杨尚昆同志在秘书的陪同下，前往延安参加革命纪念活动，这是他最后一次出现在公众场合，1997年，他旧疾复发，被迫住院接受治疗，1998年，他病重去世，临终前他特地交代家属，从简办理自己的丧事，不要劳民伤财、给国家添麻烦。他留下的遗产最终被分为两份，一份作为党费上交给国家，另外一份则捐给慈善机构。