当初铁穆耳使宋，其作为敌国的皇子，不仅可以自由出入驿馆，还可以上街游玩，但是并没有人拿他怎么样，可以说是依礼待之。可是李思衍身份比之其差远了，不仅被朝臣们斥责，在回驿馆的途中也受到百姓的围攻，尾随谩骂，若非有官兵护送，恐怕一顿打是免不了的。
赵昺知道李思衍之所以引发朝野的愤慨，其实根本原因还在其不仅是汉人，还本是正经八百的宋人，又中过科举，做过大宋的官。按说他应该为大宋守节，以死报国，但是他在蒙元占领江南之际，接受了敌国的征辟，做了蒙元的官，还来跟大宋讨价还价，为敌代言，那就是汉奸国贼。
而事情并为此而停止，且有愈演愈烈之势，事务局报告有人甚至在谋划冲击李思衍住的驿馆，甚至准备将其当街截杀。赵昺闻知大惊，刺杀他国使臣无论古今皆是极为恶劣的事件，下旨立刻严查，并加强对驿馆的保护，保证蒙元使团人员的安全。
对于大宋臣民的过激行为，赵昺也能表示理解，自己前世作为一个愤青，也曾有过这种想法。即便到了这个世界也是对汉奸极为仇恨，在琼州保卫战和收复江南的初，时凡是俘获的蒙古官员皆立即处斩，普通兵卒罚做苦役。而对曾投敌的汉奸更是绝不放过，抄家做苦役都是最轻的，且要殃及后世子孙。
但是随着战争的深入，战线越过了南宋传统的边界，深入敌国境内，赵昺觉得这种政策就不再适用，你总不能实施灭绝政策，将所有人皆屠戮殆尽。且在理论上来说，中原及长城以内的地区皆是汉人的传统统治区域，也即国的范围，其中多数都是汉人，难道还要同胞相残吗？
而历史上所谓的“北胡南蛮东夷西狄”，胡，本义是兽颈下的垂肉，引申指游牧肉食之北方民族，今之“胡来”、“胡说”、“胡闹”都是当日指胡人野蛮行径之形容遗传；蛮，南蛮，蛇種，孟子曾经说：南蛮鴃舌之人；夷，背负大弓的人形，就是猎人的意思；狄，本义带着猎犬行猎。
《周礼·职方氏》曰：四夷、八蛮、七闽、九貉