面对群臣的消极，赵昺很气愤又很无奈。当工部尚书戚亚卿在朝会上奏请对临安城进行改造，以减少对城市的污染时，立刻引发了争论。他们以为此举太过扰民，不宜打动干戈，可以对城中的河道进行清淤，垃圾清理即可，而非对整体进行改造。
除了这些进行修修补补的意见外，有人以为当前财政状况刚刚好转，便耗费巨资对临安城进行改造，实是劳民伤财之举；还有人认为既然‘收复中原，驱逐鞑虏’是当前的主要任务，那么还都汴京是必然的，再对行在进行大规模的整修，根本没有必要；另有人甚至眼，当年高宗皇帝定行在于杭州，是经过高人指点的，山水、建筑皆有说法，不可轻易变动。
大家其实也知这是小皇帝的主意，但是不敢针对赵昺，便转向了工部尚书戚亚卿，纷纷上奏弹劾。言其好大喜功，为成就自己之名，蛊惑皇帝修城。而这还是客气的，有臣僚直言其是以造福于民为名，实则是为中饱私囊，从中收取好处。更有甚者弹劾其是此举包藏祸心，欲借此挑动民心，陷皇帝于不仁不义，乃是朝中奸佞。
好在几位执宰及众臣还算清醒，他们当然清楚收复中原非是一朝一夕的事情，即便三两年之内能够做到，但是选定新都，营造宫室，再到入住也需要漫长的时日。而临安城已经如暮年的老者，已经无力承受城市的发展所带来的日益沉重的负担，堪待需要整修。但他们更倾向于对局部进行整修，可对城中的手工作坊进行搬迁，对河流就像疏浚，对‘过当拆屋’还是持保留意见。
而执宰们给出的原因也难以让赵昺反驳。一者大规模的改造花费甚重，可当下既要支撑长江防线，又有援西和征大理两场仗要打，但国库积蓄甚少，不足以支持，所以改造可以分步进行；二者如此大的工程必然要调动人力，则不免会影响到夏收夏种，进而加重百姓的负担。
第三点他们虽然没有明说，可意思赵昺也明白。清理侵街，朝野皆知阻力非是来自民间，其实是朝中的官员和权贵。所以‘过当拆屋’就是个地雷，谁踩