陈氏兄弟两人看小皇帝痛心疾首的斥责吕氏集团为祸大宋，他们也是深以为然。吕氏集团之首吕文德也算是大宋的一代名将，纵观他的一生，“自奋于兵间，周旋三边，大小百战”，创造了一系列辉煌的战绩，在宋朝抵御蒙古侵略的过程中的作用是不可低估的，可谓是南宋抗蒙的中流砥柱。
宋廷对其也极为倚重，“列之于三孤，崇之以两镇”。降蒙后的刘整曾谓：“南人惟恃一黑炭团。”亦可见其在宋军方的重要地位。但是吕文德也有非常腐朽的一面，其入京朝见，由赵希静代理统帅他的军队，结果发现吕文德的军队“军无宿储，万口藉藉，愤吕掊克”。贪污军饷，将朝廷养兵之赋入为己的情况也是常态。
除了贪污腐败和素质低下以外，吕文德更为人诟病的还有阿重用私人和攀附贾似道，尤其是他大量起用自己的族人和同乡，形成庞大的军事集团，甚至将家族利益置于国家利益之上。时人称“沿边数千里皆归其控制，所在将佐列戍，皆俾其亲戚私人”。此外吕文德还爱排挤他人，刘整就是遭吕文德阴谋排挤而降蒙的，给南宋造成了重大损失乃至威胁。
在吕文德死后，其弟吕文焕成为吕氏集团的掌门人。在咸淳六年春天的时候，他率领一万五千人、兵船百余人想奇袭襄阳西北方的元军造船基地万山堡，结果被元军大将张弘范击退。此后京湖制置大使李庭芝曾经派张顺、张贵两星第前来救援，虽然突围成功，送来了城内急需的盐、布等物资。
但是张顺随后便战死，而张贵则在向叛将范文虎求援时被元军杀害。随着物资一天天被消耗，城内士兵越来越少，再加上元军的几次劝降和利诱，吕文焕最终在咸淳九年向元军投降，襄阳城宣告失守。对其的投降，蒙元如获至宝，这不仅由于襄阳的战略重要性，更加上吕氏家族在南宋举足轻重的地位。吕氏子弟不仅把握着大宋权柄，子侄遍布台阁，随着他们的投降，大宋在蒙元面前再无机密。
吕文焕降元后，蒙元优待吕文焕、招降吕氏子弟与部下，并奉旨入朝觐见忽