武德二年（公元619年）十月，窦建德率军攻打黎阳，魏徵、李神通、李勣等人都被俘获。窦建德久慕魏徵的才能，又拜其为起居舍人。 武德四年（公元621年），李世民带兵攻打窦建德，以少胜多取得了“虎牢关大战”的胜利，窦建德就擒后，魏徵也随裴矩到了长安二次归唐。隐太子李建成听闻魏徵的声名，便将其纳入麾下任太子洗马，掌管图书经籍，礼遇厚待。魏徵见秦王李世民功勋见长，劝说李建成应尽早巩固太子之位，并积极为他出谋划策。当时刘黑闼作乱山东，李元吉镇压失败，魏徵建议太子李建成请战立功，同时可结交山东豪杰，使其地位更加稳固。武德五年（公元622 年）十二月，李建成前往山东，采用魏徵的建议，改用招抚政策瓦解了农民起义军，取得了胜利，并结交了山东豪杰，壮大了自己的势力。
