代宗见吴凑竟然不答应除掉赵子良，颇为恼怒，指着吴凑大怒道：“怎么？舅舅，难道你也站在赵子良那一边了？你也被他收买了？朕的话竟然没有一个朝廷大臣听了？”
吴凑急忙解释：“不是，不是这样，陛下！微臣誓死效忠陛下，陛下要有任何差遣，微臣万死不辞！但是······如果要动用左金吾卫除掉赵子良，这个只怕不太可能，因为赵子良曾经做过左金吾卫大将，当年左金吾卫进行过一次大规模整编和整顿，军纪、战斗力都远超京城其他各卫，他虽然在任的时间不长，但如今左金吾卫中仍然有大批的将校都是当年被他从微末提拔起来的，而且现在这些人都是左金吾卫的主干，这些人出身寒微，崛起于行伍，对赵子良的提拔重用感恩戴德，这些年来，长安的各位军队大多糜烂不堪，唯有左金吾卫依然秉承着当年赵子良对左金吾卫整编过后的信念，如果说把左金吾卫比喻成一个人的话，那么赵子良就是为这个人塑造了灵魂的人，左金吾卫那些将军们把它称为军魂！这些年来，叛军多次杀入成安城内，只有左金吾卫抵抗最激烈，伤亡也最大，因为他们作战勇猛，尽管伤亡很大，但朝廷对他们的补充和赏赐也多，当年许多还是低层军官的人都得到了提拔，而这些人受赵子良的影响最深，想要瞒过他们对赵子良下手，这根本不可能！弄不好反而会伤到自身！”
代宗立即道：“那就把这些人全部撤换掉！”
这话让代宗终于发现了皇帝对军队的无知，也只有代宗这种毫无统兵经验的人才会想要通过撤换将领和军官来控制军队，他叹道：“陛下，想要临时通过撤换这些人达到控制左金吾卫的目的难以实现，任何事情都需要一个过程，就算把这些人换掉了，换上另外的人，新任将军上任也需要时间来取信于麾下的军官和兵士，低层军官和兵士如果不信任他们的将军，是不会替他们卖命的！”
代宗颇为失望，十分沮丧，喃喃道：“难道朕现在已经到了叫天天不应，叫地地不灵的境地了吗？朕还是皇帝吗？”