1944年7月23日，方先觉派营长曹华亭突围求援，冲出去的曹华亭找不见援兵，哭着说：“我不愿意苟活，大家杀回衡阳城。”随他回城的官兵150人，进城时仅剩30人。 一个月前，长沙失守，日军司令横山勇骄横不可一世，下令在一周内攻下衡阳。几天后，日军先头部队一百多人在衡阳城外遭到守军反击，这股日军全部被击毙。 6月28日至7月2日的5天5夜中，日军发起了第一次对衡阳大规模的总进攻。 日军第六十八师团和一一六师团各自从南向北和从西向东夹击，企图一鼓作气拿下小小的衡阳，会师于城中。 但日军的进攻遭到守军第十军的激烈抵抗，迫击炮连连长白天霖发现一个日本将官在观战，他凭经验目测了距离，然后命令8门炮同时向同一目标开炮，倾刻击中目标，当即炸伤日军第六十八师团长佐久间中将（佐久间在运往武汉途中不治死亡）和师团参谋长田贞三郎大佐以及作战参谋松蒲少佐。 在战斗最激烈的张家山高地，双方反复争夺阵地达20多次，在战斗最激烈的时候，国民党预备第十师师长葛先才亲率预备队赶来解围，并端起一挺机枪投入战斗。5天5夜中，守军亦打退了日军的10多次冲锋。日军在进攻中伤亡惨重，严重受挫，横山勇不得不下令停止进攻，补充弹药，调集兵员，伺机再战。 日军第一次大规模进攻失败，横山勇召开各师团军官会议，传达了大本营的命令：必须拿下衡阳不可。 7月11日至20日，日军对衡阳的第二次大规模的进攻又开始了。第十军官兵依托着城内残破的阵地阻挡着日军的疯狂进攻，在几处要点，两军反复争夺，日军的尸体、守军牺牲官兵的遗体到处都是，也无法掩埋，腐尸的气味熏得守军官兵人恶心、头胀，不想吃饭，到后来也就逐渐适应了。 日军猛攻虎形山，守军死战不退，日军久攻不克便施放毒气，守军官兵中毒者甚众但仍顽强坚守，战至最后阵地终被日军攻占，日军乘机越过湘桂铁路，突至五桂岭南街。方先觉抽调兵力坚守并投入逆袭，战斗惨烈，彻夜未停，突入虎形山之敌被第十军逆袭部队歼灭近千人，即将突入新街之敌亦被逆袭部队歼灭过半。 13日晨，日军又发起猛攻，突入新街，预备第三师师长周庆祥亲自指挥官兵以手榴弹和白刃战与敌搏斗，将突入新街之敌悉数歼灭，阵地转危为安。 10个昼夜的疯狂进攻，日军一一六师团不过前进了400米，六十八师团才前进了200米。 横山勇根据两个师团上报的严重减员情况，久攻难克，只好于7月20日下午下令停止进攻，原地休整，补充弹药，又做部署，以图再战。而在粉碎了日军第二次大规模的进攻后，第十军战斗减员达70%。 日军对衡阳的第二次进攻失败，在广大军民中引起了巨大的反响，大后方的主要城市都举行了庆祝活动。一时间，祝捷的电报向第十军漫天飞来，报刊、电台对方先觉和他手下的“五虎将”（4位师长：葛先才、周庆祥、容有略、饶少伟和军参谋长曾玉鸣）进行大力宣传，鉴于国民党军在其他战场上的惨败，衡阳也成为重庆难得的可以宣传的战事了。 衡阳保卫战打到7月下旬，第十军坚守衡阳已逾一个月，等待援军的到来已成为守军生命的所系和唯一的精神支柱。 7月23日，蒋介石再次下达了围困衡阳之敌的命令，但通讯密码被日军破译，日军以4个师团重兵在衡阳外围堵截。援军加强攻势，几经苦战，但仍不能杀进重围来增援衡阳守军。 7月23日下午，衡阳守军终于接到来电，称国民党第六十二军一部已“到达西南郊五里亭”，方先觉振奋不已，不惜派出他最后的战备力量：军部特务营，从中精选出官兵150人，组成5个突击排，严嘱营长曹华亭率领冲出重围接应。当特务营冒死抵达约定地点，援军却踪影全无（后来，援军来电自称：因所携粮食太少，已紧急撤离）。 曹华亭含泪告诉部下，大家已成功突围，有愿意离开战场的可以离开，他自己决心打回衡阳城，与第十军共存亡。结果，无一人愿意离开，全部重新杀回“死地”衡阳城，最终仅剩30多人。 日军久攻衡阳不克，震惊了日本大本营，横山勇受到大本营来电严厉指责。横山勇调来了擅长城市攻坚的日军第五十八师团作主力，另以日军第十三师团加强力量，加上原来战败的原六十八和一一六师团共4个师团，以绝对优势的兵力来对付守军第十军。 8月4日晨，横山勇亲自督战，日军各师团对衡阳发起第三次疯狂的进攻。日军以优势兵力猛攻衡阳，连续两天两夜的猛攻仍难克衡阳。 8月6日凌晨3时，日军第五十八师团突破了小西门体育场的阵地，守军全部阵亡。日军从这里突入城内，守军便在早已构筑好的屋顶工事和路口的工事中顽强抵抗，一颗颗手榴弹炸得日军血肉横飞，日军原地停下欲待天亮再战。上午10时，日军五十七旅团长志摩源吉少将亲临阵地指挥，这时，守军的一排机枪扫射过来，这个人日酋当场毙命。 8月8日上午10时，日军接受了第十军军长方先觉的条件，11时，方先觉率残部向日军投降，衡阳这座英雄的城市沦陷了。