对于王应麟建议疏离降军之事，赵昺并没有多做解释，只是说当前的新编旅已经训练了两年，高级军官大部从由老护军选拔，基层军官则多是自武学结业的学员选调担任，仅有少数军官由降军担任。另外新编旅是以降军为主编练的，可其也只占半数，余者大部来自于江南各地征募的新兵，且客家人又占据了八成以上。
王应麟听了有些哭笑不得，小皇帝这是用的‘以毒攻毒’的法子来牵制降军，但也放心不少。他知道历代每逢中原地区发生战乱，都会有大批的人南迁，而本朝靖康之变后，亦有众多北方汉人随朝廷南渡，被称为客家。客家人因为当地的土地资源不足，所以向南方各省各地移民，不少客家人先后去往广西、福建、川蜀及琼州等地。
而同时期的畲瑶人亦迁移到闽西与粤北，成为当地主要民族，他们与后来从江南移民过来的汉人，还有广东广府人，两下杂居使得畲瑶族大量汉化，一道形成了客家民系。客家人数虽不少，但在华南各省的地位低下，经常遭到当地民众排斥。
客家人与当地汉人历来不睦，王应麟却是知道的，他祖籍河南开封，后迁居到庆元府鄞县，说起来也算是客家人。两下相争说起来也是有根源的，客家人大约在五代十国时从北方来到江南南部，但这里从东晋开始，就有不少从北方迁徙来的世家大族，他们早已成为当地豪强，根深蒂固，拥有大量土地。
客家人也是农民，需要土地和水源来而维持农耕生活，所以客家人来到后，与当地豪强在土地和水源上发生冲突是在所难免的，这些外来户对当地豪强的资源财产都产生了极大的威胁，自然不受欢迎，所以各地的宗族豪强都排挤客家人。
故而，客家人就被逼选择土地贫瘠、位置偏僻的山区。同住在这些山区的，还有被赶上山的畬族、瑶族等百越山民。他们便跟这些百越人有相当多的交流，有一部份的百越人接受了客家人的汉文化，被同化成客家民系的一员，而且不少客家人与百越人通婚。
客家人和百越人通婚，使得