明成化十年（1474年）巡抚刘敷，檄通判刘玘扩建，内外砌以砖石，另增辟镇南（东南）、进贤（东北）二门，并于六门上建城楼。 明崇祯十三年（1640年）祁阳王朱禋钰拓城，十五年（1642年）其工始竣，周国七里三分、墙高二丈、基宽二丈、顶宽一丈，有门七，内外全部用石头推砌，女墙高五尺，用砖砌，据《旧志》：“楚南各邑郡城工，未有完美坚实如祁者。” 古城墙后来在乾隆五十九年、嘉庆九年、道光三十八年：咸丰十一年年间又频道水患，损毁严重，同治元年（1862年），知县王学琴再行修复，基址始固。民国前期尚保存完整。民国28年，县长欧阳涛将甘泉门一带城墙折毁，石基移作他用，毁城自此开始。1949年后因扩城拆建，现仅存老轮船码头下河街至老电机厂段大约长290米。 1992年，祁阳县人民政府公布祁阳县文物保护单位。