秦王李世民主动请缨，认为太原是李唐王朝的龙兴之地，国之根本，不能轻易放弃，愿意统帅三万唐军，战胜刘武周，收复河东之地。于是唐高祖李渊命秦王李世民统帅唐军进攻河东。武德二年（619年）十一月，秦王李世民率领唐军踏冰渡过黄河，屯兵于柏壁，与刘武周部将宋金刚对峙。高祖李渊又派遣永安王李孝基、陕州总管于筠、工部尚书独孤怀恩、内史侍郎唐俭攻打夏县，未能攻破城池，屯兵于城南。刘武周的部将吕崇茂与尉迟敬德夜袭唐军营地，大破唐军并擒获唐军四大主将。秦王李世民获悉尉迟敬德将要返回浍州，便派遣殷开山与秦琼于美良川堵截；尉迟敬德大败而归。后刘武周再次派遣尉迟敬德与寻相前往蒲州支援王行本，又被李世民于蒲州击败。高祖李渊亲自前往蒲津关，李世民知晓后率领轻骑自柏壁前往觐见。刘武周部将宋金刚乘机派兵围困绛州，李世民统兵返回，宋金刚不战而退。 刘武周统兵前往浩州攻打唐将李仲文，却连战连败；因粮草耗尽，其部将宋金刚选择撤兵，李世民乘机统兵追击宋金刚，两军于雀鼠谷一日之内大战八场，唐军皆大获全胜，斩杀及俘获刘武周军队数万人，宋金刚逃到介州，李世民统帅大军追杀而至。宋金刚统帅两万军队出西门列阵，与唐军展开大战而败，宋金刚率领少量轻骑兵逃走。尉迟敬德等人听闻刘武周军队大败，便举州归顺唐朝。刘武周听闻消息后非常害怕，率领五百骑兵向北逃奔突厥而去。宋金刚打算收拢残部继续对抗唐军，但无人跟从，最终亲率百余骑兵也投奔突厥。而后李世民统兵收复并州；不久宋金刚离开突厥欲返回上谷，被突厥骑兵追杀而腰斩；刘武周也不甘心失败，谋划返回马邑的计划，但事情泄露，也被突厥所杀。自从刘武周自立反隋开始，到其兵败被杀，一共六年时间。
