冗、财政危机局面形成及日趋严重的过程，归明、归朝、归正人起到了推‘波’助澜作用。鉴于此，宋朝虽然总体对他们采取了优待政策，但迫于压力，只能根据国家安全形势及其所起作用的变化，在已有优待政策基础，进行适当调整，限制优待对象，降低优待标准，以缓解冗官、冗费和财政危机的压力。
朝野也对移民问题争论不休。支持者认为，对归正人的态度，显示着宋王朝的“正统”，是收揽原人心、争夺原人才的一个必要举措。同时可以增加人口与耕地面积，可以补充军队兵员，还可以了解敌国的内部情况与动向。因此，不仅不能拒绝，还要重金招纳。
反对者认为，这些南迁的归正人是敌国的设下的毒计，利用这些流民来蚕食宋国。一方面，南迁官员众多，使南宋冗官现象非常严重，给国家带来巨大的负担。另一方面，本来土地有限，蜂拥而入的归正人侵占了宋人的土地，又增加了东南民众的生存压力，把原来的良民‘逼’成“盗贼”。
还有在宋军，尤其是前线最具战斗力的部队，由于归正人的例逐年增加，使军队的管理出现隐患。端平年间，襄阳、唐州、邓州、黄陂等地北军相继发动叛‘乱’。一方面是这些北军饱受排挤，另一方面是宋正军在数量不占优势，使军队内部管理失控。
事实的确米仓会‘混’有几粒老鼠屎，大量的归正人之，其投机者不少。有些伪造履历以骗取南宋的官职，或不断地索要官职差遣让南宋朝廷疲于应付。有些归正人官员在地方作威作福，仗势欺人，败坏吏治，还有一些是金国人安‘插’的‘奸’细，或窃取情报或从事破坏活动。
这些都增加了南宋官员对归正人的疑虑与不信任。而不信任感是长期存在于南宋朝廷之的主流态度。包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动‘乱’的病根。因此，许多归正的官多不被授实职，添差后将他们分散地安置在各州郡。
在军队，归正人受排挤的现象更为严重。影响最大的一个是山东李全的“忠义军”，因为宋对其采取利用与挑拨的策略，使“忠义军”最终覆灭，名义归附宋国的山东全境因此落于‘蒙’古手。另一个是宋末的刘整，因为受到排挤而投降忽必烈，成为灭宋的一支重要力量……
“陛下，如何安置这些归正人，是否需与朝众臣详议之后再做主张？”刘辰翁见小皇帝久久不语，似是十分为难，忍不住出声道。
“不必，朕以为要厚待这些归正者！”赵昺抬起头言道。
“陛下，前车之鉴不能忘啊！”刘辰翁还是提醒道。
“当前形势已经大不同，我朝当前虽然尚处于守势，但是我们的战略是北伐原，夺取燕云，将鞑子远逐漠北。因而招纳归正人并非是长久之计，这只是权宜之策，一旦我们收复淮北，进军原，只需地安置便可，又何来归正一说。”赵昺摆手道。
“陛下所言甚是有