大业十三年（617年），因信服李密之才，徐世勣与王伯当等劝说翟让让位李密，李密随后自称魏公，封翟让为司徒，封徐世勣为右武候大将军。同年，朝廷令王世充出兵讨伐瓦岗军，徐世勣使用计谋，在洛水两岸多次击败王世充，瓦岗军最终获胜，徐世勣被李密封为东海郡公。而后，徐世勣又向李密建议并带兵攻克了仓城黎阳（今河南浚县），开仓放粮，周济饥民，并因此十天多时间就征募到二十余万人的队伍。 瓦岗军壮大后，内部发生争权的情况，大业十三年（617年）十一月，李密设计除去了首设瓦岗寨的翟让，翟让旧部与之发生争斗，混乱中徐世勣脖颈被砍中，身负重伤，李密获得了瓦岗寨的绝对领导权。为安抚部众，李密仍令瓦岗旧将徐世勣、单雄信、王伯当分领翟让旧部，但仍有人如单雄信等不满李密统领，瓦岗内部已经出现分裂迹象。
