后来，李神通与同安公主等人一同从窦建德处回到唐朝朝廷。武德四年（621年），唐军消灭窦建德，李神通再次担任河北道行台尚书左仆射。七月，唐朝在洺州设置山东道行台，任命李神通为山东道行台尚书右仆射。九月，李神通率领关内兵众到冀州，与李艺兵合。又征发邢、洺、相、魏、恒、赵等州兵众共计五万多人，与刘黑闼在饶阳（属河北省衡水市）城南交战，李神通大败，兵马和军需物资损失三分之二。 武德五年（622年）六月初五日，朝廷派李神通率军攻打徐圆朗。七月，秦王李世民攻打徐圆朗，夺取十几座城池，声势震动淮水、泗水地区，杜伏威很恐惧，请求入朝。李世民因淮河、济河之间已大致平定，让李神通与行军总管任瑰、李世勣攻打徐圆朗。十二月，李神通跟随秦王李世民消灭刘黑闼，因功升任左武卫大将军。
