唐武德四年（621年）七月，窦建德被处死后，唐高祖李渊下令敦促窦建德的将领范愿、董康买、曹湛、高雅贤、王小胡等人前往长安。范愿等人担心被杀，以“卜所主，刘氏吉”为由，找到刘黑闼，并说服他一起举兵起义。刘黑闼十分高兴，率领一百多人突袭攻下了漳南县城，缴获全部武器装备，并俘虏了一千多名士卒。窦建德旧部闻讯，纷纷前来归附，起义军很快达到了两千余人。当月，刘黑闼在贝州漳南设坛，祭奠窦建德，自称大将军，正式大举起兵。次月，刘黑闼攻陷历亭后，越来越多的窦建德故将和旧吏纷纷响应并前来投附。起义军先攻下宗城，又联合突厥攻克相州，兖州叛军首领徐圆朗也以齐州、兖[yǎn]州的地盘为诚，归附了刘黑闼，刘黑闼的声势愈发强大。
