武汉沦陷前，蒋介石在武汉召开高级将领会议。会前，朱德、周恩来2人商定，由朱德在会上向蒋介石提出国共两党举办游击干部训练班的建议。蒋介石接受了这一建议，并要求拟订计划。其后，周恩来和叶剑英研究制定了游击干部训练班的教育计划大纲，由周恩来提交蒋介石。
1938年11月25日，蒋介石在湖南南岳召开最高军事会议，周恩来、叶剑英参加了会议。会议提出抗战进入第二期“游击战重于正规战”的方针。为了开辟敌后战场、广泛开展游击战争培养干部，会议决定在南岳创办游击于部训练班，调训各战区军政千部。
中国共产党派叶剑英带领一部分干部和工作人员参加训练班工作。游击干部训练班最初称为“军事委员会游击干部训练班”，隶属于军事委员会，以第三十一集团军总司令汤恩伯兼任主任，叶剑英为副主任。1939年2月15日，游击干部训练班宣告成立，并正式开学。不久，军委会军训部部长白崇禧以军事训练机构应隶属于军训部为由，报经蒋介石批准，将其更名为“军事委员会军训部游击干部训练班”，由蒋介石兼主任，白崇禧、陈诚兼副主任，汤恩伯改任教育长，负实际责任，叶剑英改任副教育长。
第一期学员结业后，因西北亦办有同样性质的游击干部训练班，故又将其改称为“军事委员令军训部游击干部训练班西南班”；又因训练班设在南岳镇，故简称其为“南岳游击干部训练班”。1939年4月中旬，汤恩伯奉调去前方指挥作战，专任第三十一集团军总司令，便免去其教育长的兼职，改派李默庵接任教育长职。
游击干部训练班因系短期训练，只设班本部，在主任、副主任之下设教育长、副教育长各1人。班本部下设部、处、室等机构。
各部、处、室概况如下：
教务处。设处长、副处长各1人，下设军事主任教官、军事技术主任教官、军事教官、军事技术教官，以及教育副官、绘图员、书记、司书等人员，负责训练班的军事教育和各种军事活动。
政治部。设主任、副主任各1人，下设秘书，第一、第二、第三科及政治主任教官，另设有编纂委员、三青团书记、民运指导员等，负责训练班的政治教育训练、政治活动和编辑出版刊物、教材。
总务处。设处长、副处长各1人，下设第一、第二科及医务所，负责训练班的后勤工作。
总队部。为学员的管理机构，负责管理学员的学习、工作生活及思想政治工作，协助军事、政治教官组织实施教育训练计划。
机要室。负责起草、承办和管理训练班的文电、文书及班本部的行政生活管理。
另外，还配有勤杂部队，负责勤务工作。
各部、处、室的负责人，在第一期时主要是汤恩伯第三十一集团军的所属人员担任。如教务处处长马骥、政治部主任陈烈。总务处处长殷仲戡、总队部总队长陈大庆、机要室主任黄树滋等。待第一期学员毕业后，大部分行政人员都随汤调走，第二期、第三期的机构、设置和人事等均略有变化。从第二期开始增设了特种党部，由国民党中央党部指派李默庵为特派员，政治部主任戴子奇兼任书记长；三民主义青年团直属第六分团部，戴子奇兼任书记；毕业生调查处以李默庵兼任主任；另外还设有经理委员会、集办委员会、编审委员会、伙食委员会等。
游击干部训练班设立的目的，是为了适应游击战的需要，培养大批有力的、坚强的游击干部，深入敌后，领导开展游击战争，以打破敌人在占领区内政治、经济、军事之活动，以及一切后续人力物力之援应。训练班开始拟定招收学员的对象，是各战区部队营长以上的军官和高级司令部的中级幕僚人员。要求以军为单位，选派战术修养较好而又有作战经验的军官参加训练，毕业后回原部队办班，训练连、排、班长等基层军事骨干，编组游击队伍，到敌人的侧翼和后方去，开展游击战争。
第一期学员共1046人，分编为8个队，每队100多人。学员主要来自全国各战区部队，其学历大部为黄埔学校毕业，一部分为军校高级研究班、保定军校、云南讲武堂、东北讲武堂及其他地方军校的毕业生，还有招考的青年学生和三民主义青年团人员，红十字会保送的人员等。其中女学员110人。第一至第六队于1939年2月15日开学，5月15日结业；第七、第八队于4月5日开学，7月5日结业。
第二期学员共530人，分编为5个队，每队100余人。该期军官和党政干部分别编队、分别施教。第一、第二队为军官学员队，这些学员分别来自第三、第四、第九战区所辖部队（含游击队）的中级军官；第三、第四队为党政干部学员队，是由湘鄂、赣、浙、皖、粤、桂、闽各省党部与省府所辖行政党务机关保送来的各级政工人员。第五队为第九战区谍报班学员和从第一期第七队毕业的男女学员中选留的部分人员。该期6月20日开学，9月20日结业。
第三期学员共1459人，分编为10个队，每队一百四五十人。学员的来源除了同第二期的军官和政工人员外，还有从军委政治部、战时工作干部训练团、三民主义青年团保送来的工作人员和青年学生，以及由衡阳、曲江、桂林、吉安等地招考来的高中毕业学生，其中女学员占十分之一。本期训练班于1939年11月20日开学，1940年2月底结业。
1940年夏，国民党将南岳游击干部训练班改名为西南游击干部训练班。其第四期因遭敌机轰炸，移至湖南祁阳结业，后迁至江西修水办了第五期；第六期又迁回祁阳；第七期迁至浙江丽水，该期学员结业后，游击干部训练班就全部结束了。7期共结业学员5659人。
游击干部训练班教育训练实行政治、军事并重的原则，课目分为“精神训练”、“政治训练”和“军事训练”3大类。每期3个月除本班教官讲课外，还邀请中外知名人士和领袖人物讲课、演说、作报告，先后被邀到训练班讲学的有：苏联顾问讲授炮兵、步兵协同作战；日本共产党人鹿地亘讲授“对日本军阀的解剖和日本国内的民主斗争”；蒋介石讲演“推行基本建设与实现三民主义”；白崇禧讲授“关于游击战的问题”；陈诚讲授“论游击战”；1939年4月周恩来从皖南视察新四军归来，以军事委员会政治部副部长的身份专程到南岳游击干部训练班，作了“中日战争之政略与战略问题”的报告；胡愈之讲述了“对日本帝国主义的分析”，等等。
中国共产党派到南岳参加游击干部训练班工作的有30多人，叶剑英任代表团团长。中共教官负责“游击战的战略战术”和“游击战的政治工作”这两门主要课程的教授和训练。具体分工是：叶剑英主讲“游击战概论”，边章伍、李伯崇、薛子正讲授'游击战的战略战术”，李涛、吴奚如讲授“游击战的政治工作”。其中由叶剑英讲授的游击战术和政治课在干训班影响最大。叶剑英在政治军事上造诣高深，讲课时取集体讨论、研究、编写出的《游击战术讲义》和《抗日游击队政治工作教程》作为学员教材。游于班第三期毕业后，经中共中央同意，中共代表团于1940年3月全部撤回。
西南游击干部训练班第七期结业后，改为西南干部训练班，该班主要进行突击业务训练，以补充部队突击业务干部。
1945年又将西南游击干部训练班，改为突击干部训练班，为日军战败后作总反攻准备。抗日战争胜利后，该班结束。
