尽管心存疑虑，赵昺还是奉太后懿旨来到城外‘疗养’。延祥园位于孤山，是西湖景观最好的一处皇家园林，观湖景一览无遗。旧名四圣堂，原是林和靖故居。可能许多人与赵昺一样都不知道这林和靖是何许人也，但是提起‘梅妻鹤子’大概都听说过。
林和靖是本地人，出生于儒学世家，恬淡好古，早年曾游历于江淮等地，终身不仕，未娶妻，与梅花、仙鹤作伴，自谓：然吾志之所适，非室家也，非功名富贵也，只觉青山绿水与我情相宜。四十多岁后隐居杭州西湖，结庐孤山。
其以湖山为伴，常驾小舟遍游西湖诸寺庙，与高僧诗友相往还，相传二十余年足不及城市，以布衣终身。每逢客至，叫门童子纵鹤放飞，林逋见鹤必棹舟归来。丞相王随、杭州郡守薛映均敬其为人，又爱其诗，时趋孤山与之唱和，并出俸银为之重建新宅。与范仲淹、梅尧臣有诗唱和。
真宗闻林和靖之名，赐粟帛，并诏告府县存恤之。逋虽感激，但不以此骄人。人多劝其出仕，均被他婉言谢绝。终生不仕不娶，无子，惟喜植梅养鹤，自谓以梅为妻，以鹤为子，时人称梅妻鹤子。既老，自为墓于庐侧，六十一卒，其侄林彰、林彬同至杭州，治丧尽礼。州为上闻，仁宗嗟悼，赐谥“和靖先生”，葬孤山故庐侧。
宋室南渡后，在孤山建皇家道观四圣堂，并修建了御园。高宗、孝宗和理宗都曾临幸，理宗时期将四圣延祥观改建为西太乙宫。但这个时期国力下降，理宗本不热衷于建园，只因太史上奏太乙真君临梁、益分，请用天圣故事，于国城西南别建新宫，以顺方向，于是择八角镇地，建宫奉安，遂析延祥观地为宫。
西太乙宫与四圣延祥观并建一起，成为孤山的主要建筑群。当年高宗建四圣延祥观时，孤山一带的寺院、陵墓皆迁往它地，只留下林和靖墓没有迁走，留下了孤山赏梅的杭州一景。唐时白居易称孤山为蓬莱宫在水中央，因此御园具有湖上仙境的意境，可见这块地风水绝好，也是临安皇家宫观中景观最好的一处，并不逊于其他游