被革职后，他仍为林则徐提供时事消息，并听从许多林则徐的意见和建议。
后来，琦善以钦差大臣兼两广总督的身份抵达广州，“欲求林则徐罪不可得，又诬林则徐不收英吉利国王通商之书，欲怡良证实其事，怡良不从”。此后，怡良坚持备战的主张遭到琦善的排斥，他对琦善要他“专管地方事件”，不让他参预过问“夷务”十分不满。在林则徐和爱国士绅的推动和支持下，他大胆地向道光帝揭发了琦善对义律妥协退让，私下“说定让给”香港的卖国罪行，促使道光帝下令将琦善革职锁拿押解赴京，一时获得舆论的赞许。
可见，怡良也曾经有过一段很光荣的历史。然而，自打一接任这个两江总督开始，他的霉运也就随之来了。金陵，也就是现在的天京，那本来是应该他驻节的地方，却被太平军占了，还成了人家的都城。他刚刚要把总督衙门安置在扬州，太平军竟象嗅到了他的味道似的，紧随而至。他只好一让再让，把总督府设在了苏州。那料到这才安稳了几个月，太平军又追来了。他已经无路可退了，再退下去，他只有两条路，要么去上海跳海，要么就是被皇上拿问了。
其实，按照当初在广州参与军事的经验，他还是对苏州及其周围城池的防御还有协防，都是很重视的。苏州城坚不说，还有三万绿营兵将。他不象曾国藩，在他看来，那些所谓的地方团练不是没用，但是也不会有什么大的作为。所以，他一直对绿营兵的训练很抓紧，着重培养了一只机动的力量，以备不时之需。
但是，对于太平军一开始的战略，他却从根本上被迷惑住了。这倒不是他的无能，恰恰是他换位反复思考后，才得到的结论。金陵城外向荣的江南大营被轻而易举地打破了，如果就势再把江北大营的琦善那老小子办掉，金陵就完全太平了。在这种情况下，长毛再全力北伐，那大清的天下还有没有可就成了庙里和尚的媳妇难说了。
万万没想到的是，长毛居然放弃这么好的时机，掉头打起了江浙的主意来了。他现在沮丧之余，也有些感到万幸