商王府为何直到还保留着，没有拆除，也没像京城里很多前朝留下的官宅那样，分给勋贵或官员们居住呢？
因为商王府不是普通官宅，虽然是前朝的王府，可也是王府，地方官员无权处置，而京城的皇帝，即使能想起杨商王，恐怕也想不起这座商王府，一来二去，商王府便闲置下来。
且，杨城至今仍然流传着很多关于杨商王的传说，而且每一个传说都和神鬼有关系，在那传说当中，杨商王不是普通人，他是界于神仙和妖鬼之间的物种，而他后来的失踪，也给这些传说加上了神秘色彩。
据说也曾有流民小偷想进去偷东西，他们翻不过高墙，就在后墙那里打了一个洞，趁着天黑偷偷钻进去。
可是没过多久，这些流民小偷便又钻了出来，而且像杀猪一样大喊大叫，一问才知，他们见到鬼了，据说那鬼头戴王冠，身穿蟒袍，活脱便是杨商王。
这样的事情，后来又发生过一次，同样是吓得半死，同样是看到了杨商王的鬼魂。
而且，这次的小偷比上次那位胆子要小了许多，他活活地给吓疯了，疯了好几年，最后发起疯来跳进黄河死了。
因此，从那以后，商王府虽然一直闲置，也无人把守，可却再也没有人敢进去了，就连衙门的人也没有进去查看过。
这座商王府，如今在杨城人心目当中，就是一座鬼宅。