相传此地是明代张居正的故居，万历十一年，张居正被抄家，饿死十余口，长子敬修自杀，三子懋修投井未死。家中人大多冤死，于是就有了冤魂出没的传说。 还有说法称此处建会馆之前为乱葬岗子，民国初年，佛山大贾斥资建义庄，雇一面如狮的麻风老者看管义庄，待老人在此居住之后，乱葬岗子原来的夜夜鬼哭和磷磷鬼火渐渐少了，直至老人无疾而终，因为其曾患麻风，面目骇人，从无百姓赶上前搭讪，老人的身份也永远成了迷。自老人死后，厉鬼重生，有行止不端或者不孝人家常见墙外无端扔来些石头瓦砾，并传来訇骂声，开门却杳无一人。 而在20世纪初，有许多商人因工作需要在会馆内住宿，他们称经常听到奇怪的声响，如哭泣、呻吟声、尖叫声、恐怖的笑声等，许多人甚至声称在夜间看到了幽灵或其他形象的鬼怪2。还有人说会馆里空气质量差，有刺鼻的腐臭味，让人不舒服，甚至在熟睡时被强烈的气味所惊醒…… 由于此地历史复杂，发生过一些重大事件，加上人们对死亡和冤屈的联想，使得灵异传说流传，但并无科学证据支持。