中南海怀仁堂的东南角，有一排院落，其中一座名为“永福堂”的中国古典式建筑，曾是彭德怀元帅1953年从朝鲜战场归来后的居所，直至1959年因被免去国防部长职务而被迫搬离。
1959年8月18日，中央军委在北京中南海怀仁堂召开了一次扩大会议，旨在贯彻“庐山精神”，肃清彭德怀在军队系统的影响力。会上，尽管发言者寥寥，且多局限于“反右”话题，对彭德怀的“错误”避而不谈，但柯庆施和陈伯达等人仍不遗余力地给主席吹风，诋毁彭德怀。会议因此被扩大，每个军区甚至每个师都派人来参加，主持者也换成了林某，对彭德怀的批评随之升级。然而，即便如此，仍有许多人愿意为彭德怀说话，但无法改变他淡出权力核心的命运。 在永福堂居住的七年里，彭德怀拒绝了多次翻修建议，坚持自己克服困难，不愿国家花费。即将离开时，他给毛主席写了一封信，请求搬离中南海，并拜托杨尚昆为自己找一处住所，以便安心读书。他明确表示希望精简身边工作人员，公车还给国家，一切待遇按规矩降低。最终，他选择了位于西苑附近的吴家花园作为新住处，尽管那里已荒废，但他和工作人员一点一点将其重建。 在吴家花园的日子里，彭德怀过上了田园牧歌般的生活，甚至在院子里搞了一片“小麦试验田”，这几乎成了他那些年最关心的事情。然而，这段生活也并非总是快乐的，他与妻子浦安修在这里离婚，成为了一段永世的遗憾。 在即将离开中南海的那些日子，彭德怀每到黄昏便会在永福堂门前徘徊，回忆过往。尽管毛主席从未说过让他离开中南海，但他为了不让毛主席为自己操心，还是决定搬离。中央办公厅的同志传达了毛主席的指示，彭德怀的政治待遇不变，但办公室可以撤销，保留一名秘书，组织关系安排在中央党校，生活待遇也不变。然而，彭德怀还是坚持精简身边人员，上交了一切“当老百姓用不到”的东西，只保留了斯大林送给他的那辆“吉姆”轿车。 1965年，彭德怀曾回过一次中南海，与毛主席见面。毛主席劝他去三线工作，并表达出了为其平反的想法，但这一愿望最终未能达成，彭德怀反而进一步陷入困境。这位从大山中走出来的元帅，在吴家花园度过了六个春秋后，再次经历了人生的波折与磨难。
