宋朝军队的建立、调动和指挥大权由皇帝直接掌握。其下军权三分，枢密掌兵籍、虎符，三衙管诸军，率臣主兵柄，各有分守。职权分割，上下相维，从而使军权高度集中于皇帝。枢密院虽为中央最高军事机关，掌管军政、军令，制定战略决策等事，但军事行动一般须奉命于皇帝。因此理论上说，张世杰即便是枢密使，可其在无皇命的情况下调动一兵一卒。
不过现在是非常时期，皇帝尚未亲政，张世杰假借太后的懿旨是可以调动军队。可其却忘了皇帝昨夜趁其脱离大队之际，已经收回了兵权，重新任命了各军率臣，并得到了陆秀夫等人的承认，实际上等于越过枢密司直接掌握着军队，在没有新的旨意之下，其是不能调动军队的。现在赵昺先遣人传旨在先令其回军，已经给了他面子，可其仍然以奉太后之命为名居然驱赶使臣，那就是犯上了。
“末将遵旨！淮军各部即刻回港，不得有误，违者定斩不赦！”吕师成受皇命暂管淮军，眼见陛下亲至，当下胆气也壮，在另一艘战船上的他躬身施礼领命。
“你……陛下且慢！”张世杰见小皇帝动真格的了，心中也是大急，他清楚此刻自己若是领兵回港必然是大跌颜面，而吕师成那个不长眼的居然也听令于其，便想大声呵斥。可想想皇帝还在跟前，自己那么做等于公然抗旨，当下由不得他发脾气，只能好声请示。
“太傅请言！”赵昺暗自好笑，自己这两天和姓张的干上了，昨晚刚刚把张弘范给劝死，不过今天却是要说活，现在人家好言好脸，他也不能绷着了，颔首道。
“陛下，敌军新败，广州空虚，正可寻隙而入夺下广州以为立足，进而收复广南东路各州县！”张世杰隔船再施礼道。
“太傅以为我军可一鼓而下广州吗？”赵昺轻笑道，“元军副帅李恒失踪，各军遍寻周围海面至今尚无下落，朕以为其昨日已经趁夜潜回广州，其久经沙场岂有不设防之理。再者即便我们收复广州，但城池早已被拆毁，又无险可守，太傅以为能受的住吗？还有江南诸路