南唐亡国之后，这座无价之宝的砚山，散失到江南民间，转手多人，数易其主。先为北宋名画家宝晋斋主人米芾所得，他的友好闻讯惊喜异常，赋诗咏怀：

砚山不易见，移得小翠峰。

润­色­书几，隐约烟朦胧。

巉岩有自古，独立高崧。

安知无云霞，造化与天通。

立璧照春野，当有千丈松。

崎岖浮波澜，偃仰蟠蛟龙。

萧萧生风雨，俨若山林中。

尘梦忽不到，触目万虑空。

公家富奇石，不许常人同。

砚山出层碧，峥嵘实天工。

淋漓上山泉，滴沥助毫端。

挥成惊世文，主意皆逢原。

江南秋­色­起，风远洞庭宽。

往往入佳趣，挥扫出妙言。

愿公珍此石，美与众物肩。

何必嵩少隐，可藏为地仙。

后米芾以砚山与苏仲恭学士家换取北固山甘露寺下海岳庵。不久，砚山被朝廷索入禁中，藏于万岁洞之砚阁。米芾失去砚山，异常惋惜，朝夕怀石，笔想成图并赋诗云：

砚山不复见，哦诗徒叹息。

惟有玉蟾蜍，向余频泪滴。

北宋亡后，砚山相继为戴觉民及族人所得。南宋­奸­臣、宰相贾似道图谋强行索求，攫为己有，未能得逞。屡经战乱，至元代，砚山仍为戴氏后人、大都太乙崇福宫张真人所藏。戴氏特请翰林侍讲学士、参与编修辽、金、宋三史的名士揭斯题词，揭氏慨然应允，命笔赋诗，颂扬砚山的价值和历届收藏者的功劳：

何年灵璧一拳石，五十五峰不盈尺。

峰峰相向如削铁，祝融紫盖前后列。

东南一泓尤可爱，白昼玄云生。