公元621年（武德四年），秦王李世民东征王世充。段志玄在作战时马倒被擒，敌军两将抓着他的发髻，要将他带走。在渡洛水时，段志玄纵身跳起，将二人拉坠马下，夺得马匹驰归。数百人在后面追赶，但是都不敢逼近。不久，王世充、窦建德相继被平定，段志玄因功升任秦王府右二护军。 626年（武德九年），太子李建成欲谋害李世民，以重金贿赂段志玄，企图诱其归顺。段志玄拒不接受，并将此事告知李世民，后与尉迟敬德等人发动玄武门之变，诛杀李建成、李元吉。不久，李世民登基，是为唐太宗，段志玄迁任左骁卫大将军，封樊国公。 634年（贞观八年），段志玄被任命为西海道行军总管，率领边军与契苾、党项等部落兵马征讨吐谷浑。段志玄击破吐谷浑，率军追击八百余里，到距离青海湖三十余里时，吐谷浑驱赶着牧马逃走。唐太宗诏令段志玄追击到青海海夺取吐谷浑的牧马，段志玄停留不前，被唐太宗罢免其官职，不久又官复原职。
