1940 年 7 月 29 日，法国战败后，希姆莱受小胡子的邀请，带上派普一起在贝格霍夫。 派普的军事生涯始于纳粹党卫队小胡子的警卫旗队 (LAH)，该团最初是小胡子的私人卫队，但在战争期间扩充为机械化师，然后是装甲师。从一开始，派普在战斗中就表现出色。派普最初在法国指挥一个排，据说他表现勇敢果断，最后成为一名连长。他因俘获法国炮兵连而获得铁十字勋章。后来他又回来担任希姆莱的私人参谋。 1941 年 6 月 22 日，德国军队作为巴巴罗萨行动的一部分入侵苏联。派普于 8 月重新加入 LAH 师，担任师参谋，并在南部黑海/塔甘罗格地区服役。他接管了第 11 连的指挥权。1942年 6 月，LAH 师离开俄罗斯前往法国进行重组和改装。LAH 师进行了扩编和装备，成为一支装甲掷弹兵师。作为一支机动部队，配备半履带和卡车。派普于 1943 年 1 月升任营长，指挥第二装甲掷弹兵团第 3营。