看都像是有预谋的。
不管是蛮子还是谁，舞阳城不明不白的失守了，连唐咨的首级都被人挂到了城头上，粮食、军械也保不住了。吕岱犹豫半晌，立刻下令撤军。没有充足的后勤补给，他无法继续围困锦屏山，哪怕知道孙权的心腹大患魏霸就在山上。
吴军撤退了，靳东流很快就收到了消息，他立刻意识到魏霸已经得手，战局已经发生了逆转，反击的时候到了。他立刻派人给赵统等人送信，希望他们做好反击的准备。
吕岱撤退的时候，潘濬和步骘也先后踏上了归程。他们虽然暂时没有后路之忧，可是他们从一开始就清楚，这次对三山谷的攻击看起来声势浩大，其实是一招险棋，千里行军，深入大山腹处，补给线的漫长和脆弱是明摆着的。如果不是公主被劫，暴怒之下的孙权给他们下了死命令，他们才不会做出这么冒险的举动。既然不能快刀斩乱麻的攻克三山谷，那尽快撤退就是唯一的选择。
潘濬和步骘都是带兵多年的将领，深知其中要害，他们恨不得身插双翼，飞出大山，可是这一点注定了他们不能如愿。万余人的队伍在大山里行军，又刚刚经过了大半个月的苦战，他们士气低落。为了防止他们出现溃败，潘濬反而不敢快速行军，只能按部就班的撤退。
潘濬、步骘一撤，赵统也意识到了战机，他立刻和黑沙、飞狐等人商议，开始追击吴军。为了确保存万无一失，赵统放弃了同时追击的想法。他留下帅增守护三山谷，自己带着飞狐和黑沙共两千多人追击步骘。
赵统率领的人马以五溪蛮为主，崎岖的山路对他们来说家常便饭，速度远比行船的吴军来得快，经过十天左右的急行军，他们抢在步骘的前面赶到了秀山。在这里，他们意外遇到了一股援军，从永安赶来的两百白眊军，领头的正是那个曾经保护过魏霸的都尉白俭。
赵统一问才知道，这是永安都督陈到接到丞相密令，让他暗中支持魏霸的，这两百白眊兵都是真正的精锐。赵统大喜，立刻对白俭说，你先跟着我行动，击退步骘之后