为了免遭来自弘冀的杀身之祸，从嘉自少年时代起，就自甘寂寞，将功名利禄视为身外之物，对于军国大事，尤其退避三舍。“思追巢（父）许（由）之余尘，远慕（伯）夷（叔）齐之高义”純紝矠，成了他在青少年时期生活的理想和信条。为此，从嘉自号钟隐，别号钟山隐士、钟峰隐居、莲峰居士、钟峰隐者、钟峰白莲居士等，以明心志。純紞矠他曾在《秋莺》一诗中，借描写深秋残莺的孤寂、迷惘神态，来抒发自己内心的彷徨、归隐情感：

残莺何事不知秋，横过幽林尚独游。

­嫩­绿百层倾耳听，深黄一点入烟流。

栖迟背世同悲鲁，浏亮如笙碎在缑。

莫更留连好归去，露华凄冷蓼花愁。

他憧憬终生隐遁钟山，摆脱人间一切烦恼，与世无争，驾一叶扁舟，浪迹江河，远离红尘，去过充满田园风味、怡然自乐的渔父生活。所以，当长于楼台殿宇、盘车水磨和写生人物工笔画的内供俸卫贤作好《春江钓叟图》，请这位皇子题签时，他欣然命笔，填了两首风格清丽的《渔父》词：

浪花有意千重雪，桃李无言一队春。一壶酒，一竿身，世上如侬有几人。

一棹春风一叶舟，一纶茧缕一轻钩。花满渚，酒满瓯，万顷波中得自由。

他有一首七律《病起题山舍壁》純紣矠，当是他过了一段隐居生活之后写成的。诗中津津乐道地叙述了自己杖藜巾褐，蛰居山舍，不求闻达，超然名缰利索羁绊的闲情乐趣以及对古代仙人彭祖、涓子和高僧宗炳、慧远的羡慕：

山舍初成病乍轻，杖藜巾褐称闲情。

炉开小火深回暖，沟引新流几曲声。

暂约彭涓安朽质，终期宗远问无生。

谁能役役尘中累，贪合鱼龙构强名。

甚至他想皈依佛门，去过晨钟暮鼓、清心寡欲的生活。他在另一首七律《病中书事》里写道：