1939年，年轻的派普在小胡子警卫旗队服役。 派普1915年1月30日出生于德国柏林市的一个中产阶级家庭，有两个哥哥：汉斯-哈索（Hans-Hasso）与霍尔斯特（Horst），派普是三兄弟中最小的。派普家族起源在西里西亚，最早在1550年出现，起初姓氏的拼法为PEYPER，并且有自己的盾徽标志。他的父亲沃尔德马·派普（Woldemar Peiper）也是军人，第一次世界大战时在北非服役过，官拜上尉，母亲夏洛特·派普（Charlotte Peiper）则为柏林房产建筑商的女儿。 派普最早从军是在隶属于第一警卫旗队师。从1938到1941年间，派普在党卫军总部担任党卫队全国领袖海因里希·希姆莱的副官，1940年在法国战场初试啼声，后又回任希姆莱的第一副官，直到1941年10月离开。他的妻子西古尔德·派普（Sigurd Peiper，本姓Hinrichsen）是希姆莱的秘书，她比派普大两岁半，两人于1939年6月结婚，育有二女一子。