1958年的军委扩大会议上，总参谋长粟裕受到了错误批判。8月31日这天，政治局召开会议，决定解除他总参谋长职务，调任国防部副部长兼军事科学院副院长。 9月16日，聂荣臻元帅主持了交接大会，宣读了军委的决定。粟裕在会上讲，这一次军委和各级同志们对自己帮助很大，他服从组织的决定，强调说自己文化水平不高，到军科搞研究，他会努力学习，争取做好工作。 同时，粟裕提出自己不兼任国防部副部长为好，因为军委明确他的主要工作在军事科学院，也不能接触部队，所以再当国防部副部长不合适。但是，会议并没有批准和同意。 接任者黄克诚也做了表态发言，他对与会的同志讲，这次军委任命他为总参谋长，自己觉得这是非常不合适的。但是，这是组织的决定，必须要服从，他只有在任上兢兢业业，才能不负组织的关怀和信任。 9月17日，粟裕和黄克诚又共同主持了总参谋部的会议，进行简短交接，他便离开总参谋部了。