1985年10月22日，开国上将许世友在南京逝世，享年80岁。北京医疗条件那么好，许世友为何不去呢？他的理由是“北京路窄人多，吵起架来我吵不过他们”。

真相是——许世友十分清楚自己所患肝癌的凶险，他怕到了北京就回不了南京，更回不了他的河南新县老家进行土葬。

许世友去世时，只留下126元人民币的存款。那一年全国职工的年均工资是1148元，126元的遗产仅仅只是一个普通工人一个半月左右的工资。许世友生前对家属子女和身边工作人员要求很严，从不为他们的工作安排、职务升迁打招呼，也不允许打着他的旗号搞特殊，并经常告诫他们：“你们当过几次敢死队？受过几次伤？为人民作了什么了不起的贡献？好好学习，老实工作，干什么不是为人民服务？”一次彭德怀同志因公路过南京，时任南京军区司令员的许世友设家宴招待，桌上只摆了炒豆芽等4样家常菜，受到同样崇尚俭朴的彭德怀的赞赏。据许世友女儿回忆说，许世友身后并没有留下财物，要说遗产，只有半橱酒，五支枪，四双草鞋和两把刀。

1985年元旦刚过，知道自己来日不多的许世友，就让秘书给党中央写报告，正式提出了土葬的要求。他的理由很充分：自幼参加革命，报效生母不足。活着尽忠，死了尽孝，葬在老母坟边以尽孝道。报告呈交上去之后，许世友的病情也一天天恶化。每一次昏迷醒来，他都要问一句，报告回复了没有。可是，直至他闭眼时，也没有等到党中央的回复。1949年后，除了任弼时没有火葬，党的高级干部去世后都是火葬。现在有人要求土葬，自然没人敢作这个主。最后，出面解决难题的是邓小平。邓小平再一次体现了他原则性和灵活性高度统一之风范！邓小平了解许世友，他思前想后，在许世友的那份申请土葬的报告上批示：照此办理，下不为例。在许世友逝世四天后，这份批示由时任中顾委副主任的王震带到了南京。王震在转述邓小平意见时说，“许世友在60年的戎马生涯中，战功赫赫，百死一生，是一位具有特殊性格、特殊经历、特殊贡献的特殊人物。邓小平同志签的特殊通行证，这是特殊的特殊。”但是同时也宣布了六个不准，这也是邓小平的口头意见，就是不准开追悼会，只准搞遗体告别仪式。不登报宣传，就是关于他丧事怎么办理的，不要登报宣传这个事情。不准家属子女外传。不准立碑。邓小平的这六个不准是有道理的。试想一下，这是个特例，就得特事特办。如允许开追悼会并立碑，再登报宣传，就代表了中央是允许这么做的，以后再有高级干部也提出要土葬怎么办？此风不可长啊。许世友曾遣子造棺。1976年，许世友的七十大寿在广州度过。七十大寿后，许世友的大儿子许光从河南新县老家南下拜寿，在广州多住了两天。

1977年许光与父亲许世友将军在广州合影许世友嘱托儿子给自己造棺材，让先买两棵红松，并奉告儿子：“你工资不高，也不富裕嘛，钱我得出，事情你去办。”但掏了半天钱，只掏出10元3角，于是只得让儿子先归去，随后将钱寄回家。许光接到父亲寄来的50元钱后，卖力地筹办父亲交给的“义务”，又请来了特级木匠，经心计划，精心制作，经心雕刻，为父亲定制了一口棺材。此时，已经是1979年了。许光一封信发到广州，报告父亲，灵柩做好了，请他回来验收。许世友看了家信很高兴，写信奉告许光说，等他打完了对越自卫回击这一仗，只需不死就归去。如果战死了就用这口棺材，不必要再验收了。1985年11月9日，许世友悄悄下葬河南新县老家，墓穴没有修饰，没有墓碑。1年后，因为络绎不绝的参观者反映，王震出面提议，由时任中央军委副主席的杨尚昆和刚刚退居二线的徐向前以个人名义为许世友竖起了一块花岗岩石碑。碑上不冠职，不记功，不叙史，只镌刻了由著名书画家范曾手书的“许世友同志之墓”七个字。

在许世友墓地的西南方40米处，是许世友父母合葬的墓穴。