武德四年（621年）十二月，窦建德旧部刘黑闼联合东突厥再次起兵，李世勣跟随李世民讨伐。在刘黑闼进逼宗城（今河北威县）时，屯守在此的李世勣遭遇惨败，只身逃往洺州（辖今河北邯郸与邢台）。武德五年（622年）三月，李世勣与刘黑闼部将高雅贤在洺水遭遇，李世勣引兵逼营，高雅贤因酒醉单枪匹马追击李世勣，被李世勣部将刺死。同年七月，李世民鉴于局势初定回朝后，李世勣则被留下来继续讨伐与刘黑闼联兵作乱的鲁王徐圆朗。最终，李世勣擒杀徐圆朗，平定了兖州（辖今山东省西部、河南省东北部、河北省东南部）。 武德七年（624年），李世勣受命随赵郡王李孝恭和大将李靖一同征讨位于江淮的辅公祏起义军。期间，他率领一万步骑兵渡过淮河，攻克了敌方的寿阳城，进抵硖石（今安徽淮南下辖），接连攻破驻守长江西岸的陆路敌军以及用铁链锁船的三万水兵，在辅公祏闻讯东逃时，又趁乘胜追击，平定了江南。
