衣冠禽兽，以前真的是褒义词吗？

我查了成语出处，明代陈汝元《金莲记》第七出。里面写的是：“人人骂我做衣冠禽兽，个个识我是文物穿窬（yú）。” 其中穿窬指的是偷盗行为，有词语穿窬之盗。 - 也就说，这个成语一被创造出来就是用来骂人的。后来的用法，也基本是骂人的。清代李汝珍在《镜花缘》第四十三回里写道：“既是不孝，所谓衣冠禽兽，要那才女又有何用。” 虽然衣冠禽兽的来源是官员官服上绘制的图案，本来应该是一个中性词。