段志玄的父亲段偃师，曾任太原郡司法书佐。段志玄身材伟岸，器宇轩昂，但是为人无赖，屡次违反法纪。 611年（大业七年），隋炀帝远征高句丽，段志玄时年十四岁，应募从征。后来，段志玄随父亲客居太原，得到李世民的赏识。 617年（大业十三年），唐高祖李渊在晋阳（今山西太原）起兵反隋。段志玄募兵千余人，被授为右领大都督府军头，并担任先锋，夺取霍邑（今山西临汾）、绛郡（今山西新绛），攻打永丰仓（在今陕西大荔），累功至左光禄大夫。 后来，段志玄随刘文静到潼关抵御屈突通。刘文静被桑显和偷袭，军营溃散。段志玄率领二十余骑冲阵，连杀数十人，身中流失，仍三次冲入敌阵。最终，唐军军心大振，桑显和大败。不久，段志玄与诸将追擒屈突通，因功授乐游府骠骑将军。
