?
兴平元年冬，后将军袁术派大将纪灵率兵三万攻东海，大将张燕率兵四万攻广陵，皆因守军顽强抵抗，急切间难以攻下，适逢天降大雪，粮草运送不济，纪灵与张燕遂各自撤军。纪灵驻守彭城，张燕驻守小沛。
袁术随后上表自领徐州牧，但他却没有去徐州，仍然居住在宛城的豪华官邸内。随着地盘的逐渐扩大，袁术觉得自己的官邸也寒酸了些、小了些，便下令征集了大量民夫，就在这寒冬腊月里，开始了扩建官邸的浩大工程。
按照袁术的设想和规划，新的官邸占地要比原先的大一倍，且要求内饰更加地豪华。单单是后花园，为了模仿江南水乡的格局，营造出那种水乡韵味，便要修建许多亭台楼阁，还要挖一条人工的小溪在官邸间潺潺流动，在小溪上再建不少曲曲折折的石桥，桥下准备种植许多荷花。走在后花园里，要有一步一景，曲院风荷的感觉。
对此事孔柚极力反对，他认为袁术现居的官邸已经够奢华了，没必要再花费巨资翻建，为此他几次找袁术，梦想着能说服袁术，将钱粮投在民生上。
孔柚不了解袁术，他不知道自从拿到了孙坚送来的传国玉玺后，袁术每日里偷偷地把玩，渐渐地开始幻想自己已经当了皇帝了。为了寻找皇帝的感觉，现在的官邸自然是破旧了，翻建，只有翻建才能像个皇宫。
孔柚的苦口婆心换来了却是袁术的破口大骂，我花的是我们袁家自己的钱，关你屁事！难道要我把自己的钱拿来资助那些贱民？现在我的地盘扩张到了徐州、豫州、扬州、荆州四地，声望日隆，连南匈奴的单于于夫罗都派使者前来示好了，我怎么还能住在那么寒酸的破屋子里？
孔柚可是当代的大儒，弟子如云，遍及四海，何曾被人这么指着鼻子骂过？感到大失颜面的孔柚一怒之下便请辞所任官职，告老还乡。袁术本就认为孔柚是个不通人情的书呆子，在自己身边老是给自己挑刺，让自己很不爽，于是袁术就当场批准了。
数日之后，孔柚便收拾好全部家当，举