不比不知道，回到宫中后赵昺更觉难受，觉得还不如在庙里待着自由、舒坦。他大婚的消息以明旨昭告天下后，自己当下的任务就是由礼部的官员教导大婚的规矩，此外就是拆阅各处送来的贺表。那些军中和地方的大吏皆是自己的铁杆亲信，当然也知道自己的规矩，不敢送金银财物，只能选些稀罕之物送来，并请旨回京希望参加盛典。
由于马上要迎接新到的女主人，东宫也在重新整修，将原忻王府的正殿改建为慈宁宫，作为正宫皇后的住所。同时还要收拾出几座院落，安置几个妃子。另外每处都要配备女官、内侍和宫女，教他们学规矩，所以整个东宫有些乱哄哄的。
虽然这些杂事自有太后和王德操心，但是赵昺看着心烦，那烧的都是钱啊！于是本着眼不见心不烦的态度，他便搬到苑中的芙蓉园中的香远堂中居住。这里紧靠小西湖东岸，离他最喜欢的湖中四面亭也就不足五十步的距离，不仅近水且清净，离前朝很近，到西宫慈元殿请安也不太远。
香远堂虽然不大，但是对于赵昺来说以足够宽敞，起码比在琼州的淡泊阁大了一倍不止。正堂在他看来有些空当，便将这里又分割成了三个部分，正中作为会客之地，左侧改成书房，右侧作为寝室，后堂则用于藏书。东偏殿依旧是他的工作室，西偏殿前厅是内侍们的职事房，后厅为储物间。
唯一让赵昺不满意的是名字，香远堂一听就是当年高宗皇帝提的，这里住的多半是教坊司的歌舞伎们，以便于在四面亭中宴饮时献歌伴舞。于是乎他命人将匾额摘下来，改名为致远堂，取‘淡泊以明志，宁静以致远’之意，与琼州的淡泊阁相呼应，以示自己不忘当年之志。
不过这里靠近湖塘，江南的冬天又是有名的湿冷难耐，赵昺还是命人将这里进行改造，仿造北方宫室取暖的方式加装了‘地龙’，利用布置在地下的烟道来提高温度，原理与现代的地暖相似。如此一来，尽管外界寒气逼人，室内却仍然温暖如春。
这日赵昺起床，推门一看昨夜竟下了一场雪，芙