在总章二年（669年），李勣被封为太子太师，并增加了一千一百户的食邑。同年，李勣病倒，唐高宗为安抚他，封他的弟弟李弼为司卫正卿，让他留在京城照料李勣。李勣病重，临终前将子孙托付给李弼，要求他严加访察，若有操行不轨、结交恶人的，要立即打杀并上报；并希望自己的葬礼从简。同年十二月，李勣病逝，终年七十六岁（《新唐书》载李勣享年八十六），被追赠为太尉、扬州大都督，追谥为“贞武”，随葬于唐太宗的昭陵。所筑的坟墓依照西汉名将卫青、霍去病的先例，以表彰李勣击败突厥、薛延陀的功劳。唐高宗为示哀悼，特停朝七日，又于归葬当日登未央古城临送，皇太子随驾，给予李勣较大的哀荣。
