???在杨昭积极整顿吏治，积蓄实力，以准备东征的时候，局势再次变得严峻起来。
永历四年（公元1650年），尚可喜、耿仲明在占领南雄、韶关之后，随即率军兵围广州，李元栋副将，现在广东巡抚杜永和率兵驻守广州城。
面对广州高大城墙尚可喜、耿仲明在攻城不利之后采取围城的方式，一面挖壕沟一面收编海盗以图攻破城。
退回梧州的永历帝则一面清算朝中的东勋集团，以巩固自己统治，而另一方面则派出援军以图解广州之围。
在肇庆，那些追随李成栋反正的功臣，如袁彭年、刘湘客、丁时魁、金堡、蒙正发等人因为借助李成栋的势力掌握朝政(由于楚人较多，被称为楚党),与那些拥立永历帝的勋臣(由于吴人较多，人称吴党)发生矛盾，过去李成栋尚在，大家还在李成栋军队卵翼下生活如此方可忍受楚党的非难。
现在逃出李成栋势力范围之后，吴党众人吴贞毓、万翱、程源、张孝起等人上疏弹劾袁彭年等人，称袁彭年为“虎头”，刘湘客为“虎皮”，金堡为“虎牙”，丁时魁为“虎尾”，蒙正发为“虎爪”，永历帝当即令人将刘湘客等人逮捕归案，一个个暴打一气之后全部流放。
永历帝也颇为顾全李元胤的面子，与李元胤关系甚佳的袁彭年因为参与李元栋反正有功而免除职务永不录用。
在处罚五虎之后永历帝积极派出吴党领袖堵胤锡率领忠贞营东征以解除广州之围，但堵胤锡东征与李元栋集团发生纠纷，李元胤担心堵胤锡依靠忠贞营抢夺自己地盘，而另一方面吴党另外一位实力派大佬陈邦传则根本不愿意资助粮食。
在东征准备过程中，忠贞营主将李赤心采取金蝉脱壳之计，通过诈死方式出外当了和尚，如此忠贞营无主，根本无法进行东征。
李赤心诈死之后，堵胤锡更是手中要钱没钱要粮没粮，最后也在永历三年11月郁郁而终，死于国事。
堵胤锡在临时之前再三劝诫永历帝，请求朝廷正式承认杨昭为平