赵昺其实对于强力处置吴家也是心存忌惮的，当然他领兵回宫也不是为了给自己壮胆，而是为了‘逼宫’，不过却非是为了逼自己，却是在向朝中的士人们示威，显示出自己的决心。他这么做其实也是被逼无奈的，因为他处置皇后和吴家并非自己一道旨意就能做成的。
在琼州时，赵昺通过以财权换皇权的交易得到了军权和参与政事的权力。而他在中间耍了个滑头，借此成立了军机处，得以不通过中书门下和枢密二府独立行使权力，且可以此还对政事施加影响。但是在收复江南后，重新构建行朝中军机处已然名存实亡，尤其是在自己‘修养’期间，所有的权力基本被太后还给了朝廷。
所以在赵昺在这一阶段名义上能够公开调动的力量只有御前护军，连后宫之事都不能够独断，而处置皇后和罢黜吴家子弟即便自己下旨，也需要宰相副署才可实施。可陆秀夫和文天祥皆与吴家有着千丝万缕的关系，甚至立吴曦为后，两人也是暗中出了力的。
那么有权利副署的就只有副相刘黻和应节严了。刘黻与赵昺关系密切，且视为亲信，但是他依然不敢为此事寻他，因为赵昺知道刘黻曾上疏度宗，其放言：政事由中书则治，不由中书则乱。天下事当与天下共之，非人主所可得私也。能说出这番话来明显其骨子里还是传统的士大夫，自己与他说事，多半会碰钉子，弄不好两人还会因此心生嫌隙，连朋友都没得做了。
说心里话，赵昺并不愿意血洗朝廷，这非是临门一脚自己怂了，其一、毕竟这是自己像燕子一样一口泥一口草搭建起来的。其二、结果不可预知，真将这些士大夫们逐出朝廷，自己就不得不组建军政府，在这动荡的年代，一家独大的武人没有了制约，也许就会重现五代十国的悲剧。
所以赵昺还是希望此事能获得朝廷的‘同意’，以减少自己的压力。而最后的希望就只能寄托在应节严身上了，可没想到忘了应节严与吴潜还有关系，又代吴家送上请罪疏，做起了中间人，这就等于把通过朝廷和平解决的渠道全部堵死了