在现代的地图上，往往会借助同一颜色标注不同的疆域，在中国历史地图上，尽管自秦汉以来，西南地区就被同一种颜色标示为均匀统一的整体；然而赵昺到了这个时代才知道与现代国家连续不断的国境线不同，这一传统认知疆域内的广大区域，实际上并未被纳入中原王朝的直接统治中。
这片不受中原王朝管辖的地域，往往被称为夷地、畲地或是苗疆，这片区域一般泛指今天的云贵高原东部，苗族和其他西南民族集中居住的山地地区。居住在这里的各民族，被中原王朝统称为‘生俚’也就是不服王法教化，不缴纳税赋，不服徭役，与政府为敌之意。
早在战国中期秦灭巴蜀后，为了方便对远离咸阳的巴地进行管理，除了进行武力征服外，也通过允准巴人自治，并通过联姻，封爵加以笼络，但是收效甚微，俚人仍然时常反叛。因而，东汉及后继政权，不得不转变策略，以怀柔策略拉拢，以向蛮人首领赐予印绶、爵号、财物，承认其地位。
汉高祖时为了加强朝廷对流入黔中的巴人后代的控制，将黔中划分为酉、沅、辰、武、巫五溪，巴氏五兄弟后代各为一溪之长，地位相等，“高祖厌若军事，亦有萧张之谋，故偃武休息，羁縻不备。”羁縻一词的来源，即出自于此。
历经魏晋南北朝至隋，羁縻政策日益完善和制度化。唐朝建国后，唐高祖李渊专门下诏，把羁縻作为制度，正式推行。即由朝廷在少数民族地区设州，以俗为治，区别于一般州县。“遐荒绝域，邢政殊于函夏”的羁縻府州制度就此产生。
唐中叶降，在安史之乱和接二连三的朝廷党争中，帝国日趋衰微，藩镇割据一方。羁縻制下的少数民族头领，趁机扩张势力，互相攻伐，成为称霸一方的土皇帝。当然，在群雄逐鹿的唐末五代，这些土皇帝的实力，还不足以和兵强马壮的中原王朝抗衡，和同是少数民族的契丹相比，就更是小巫见大巫了。
北宋崛起后，继承并完善了羁縻制度，除承认当地少数民族头领的政治地位外，对其中势力较大