榔梅祠在清朝末年除榔梅殿外其它建筑均被火焚。我们现在看到的配殿、厢房、山门、宫墙等都是在古遗址的基础上重新修建的。 　　明地理学家徐霞客在游览武当山后，曾记载：“榔梅祠与南岩对峙，多榔梅树”。并形容榔梅开花时，“花色浮空，映山绚丽”。 　　明永乐皇帝还下旨对榔梅树进行保护，将果实做为贡品和禁果，由武当道士每年进献。皇帝还经常用榔梅果奖赏有功大臣，所以朝廷大臣都把能得一枚榔梅果做为政治荣誉而终身荣幸。可是到了清朝，武当山的榔梅树就已经完全绝迹，许多人遍访武当寻找榔梅，但都是扫兴而归，只留下“惆怅依荒崖”的遗憾，也使武当榔梅成为待后人破解的千古之迷。