晚年苏轼被贬江南，江阴友人葛姓人家多次邀请他小住梅花堂，乍暖还寒之时，望着屋旁开出的点点红梅，苏轼轻吟《红梅》一首：
《红梅》
苏轼
怕愁贪睡独开迟，
自恐冰融不入时。
故作小红桃杏色，
尚余孤瘦雪霜姿。
寒心未肯随春态，
酒晕无端上玉肌。
诗老不知梅格在，
更看绿叶与青枝。
寒心未肯随春态，酒晕无端上玉肌。借着酒意，他写下了晚年被贬谪的孤苦与失意，不知这满园春色，能否安抚苏轼的内心呢？
梅花是否暖人心，我们不得而知。但，历史的车轮从未停止转动，穿越到500年后的明朝，我们发现，梅花堂内又有了一位熟悉的身影，那便是悠游四方的千古奇人徐霞客。
题小香山梅花堂诗五首 其二
徐霞客
幻出烟萝傍玉京，
须知片石是三生。
春随香草千年艳，
人与梅花一样清。
混沌凿开云上下，
崆峒坐倚月纵横。
峰头且莫骑黄鹤，
留遍江城铁笛声。
据说徐霞客曾到访香山三次，并留下《题小香山梅花堂诗五首》和序文一篇。如今重新修缮的梅花堂内，进入前厅便见一副对联镌刻在两边暗红色的柱子上，皆为徐霞客《题小香山梅花堂诗五首》里的字句。
为何来香山三次呢？一来，徐霞客是江阴人，而在古代，香山属于江阴。所以，他常常来这里游历。二来，徐霞客的兄长徐应霞辞官隐居香山梅花堂，兄弟时常闲情赏景，觞咏为乐。当时梅花堂因战争破坏，徐应霞潜心修缮，用双手重新还原出为苏轼所称赞的香山美景。
徐应霞还原的香山美景，到清朝乾隆年间尚且保存完好。公元1747年，乾隆帝因香山的历史名气慕名而来，走访香山，并到圣清池里饮泉润喉，风景秀美，泉水清甜，乾隆帝心情大好，故为此池题字“清池”。
此外，香山还有众多脍炙人口的历史名人的身影。大禹治水东南时，曾到过香山，留下“圣过潭”古迹；姜子牙助周灭纣后，在香山北麓江边垂钓过，留下“钓鱼矶”古迹……