南北人自身考量的不同，便有了有不同的立场与观点，由此而衍生出对生存与发展、现实与理想、偏安与恢复等不同的看法。而认知差异和南北地域问题及文武问题纠结在一起，又对政治环境产生了影响。而南北人对政治环境、宋金、宋蒙关系既种使得问题更为复杂。
宋廷迁都临安也是更有利于老家是福建路、浙西路、浙东路的士大夫，于是南人主政北人主军的局面逐步固定下来。尤其在重文轻武的国策下，由科举入仕的南方文人占优势之政治环境中，对从北方的人而言，自然筑起一道智力防波堤，用人取舍之间，南北便有亲疏内外的不同，就容易产生政治生态失衡的现象，形成政争，为他们日后的混战埋下了隐患。
为了小朝廷的生存和发展，也为了争夺政治利益，和战问题就不单单是政见之争，更上升为人事恩怨和所谓的南北人问题，而经济上南强北弱，政治上南方人掌握了南宋政坛，北方人大多流离失所且多为武将。所以你看在北宋时的北人和南人在军事与政治所居的地位差异明显，因此南宋时代形成北人主军、南人主政的政治形态。
从南宋开国以，几次重大的事件，岳飞之死、苗傅、刘正彦、郦琼之叛及曲端的被杀，孟珙的抑郁而终，固然各有不同的原因，然而南北地域情结似乎也有相当的关联性。赵只看岳飞的出身和经历，便知对北人的招抚正是触动了南人大臣和皇帝的心结，招降纳叛往往是地方图谋不轨的先兆，都毫无例外地涉及到南人主将、文官和北人武将的错综复杂的矛盾。
南渡之初，宋廷随时面临着灭亡，可以说正是用人之际。对归正人，南宋除发放赈济钱粮，分配土地、耕牛、种子进行安置外，将男丁收入军中更是安置归正人的常规做法。赵最为崇拜的岳家军，他们之所以能让金军闻风丧胆，很大程度上是离不开北方归正人的不断加入和后方策应的，其队伍中的猛将牛皋、董先都是归正人，甚至在宋金开始和议时，岳飞仍派人持蜡丸、赏金到北方招诱中原好汉。
然而正是基于对岳飞等武将的猜忌，朝臣和赵构对北人来归的也逐步加强了警惕。特别是在‘绍兴和议’签订之后，为了防止授金朝南侵的借口，高宗在遣返新归正人的同时，严禁边将收纳渡淮而来的北方人。甚至是直接发布文书，告诫岳飞等将领，不得招纳北方来归的人民。可每当宋金出现军事对峙的紧张形势时，就又会再次派遣边境的官员招募北人投奔，厚加赏赐。
在赵看来，在对待归正人的问题上，无论的皇帝，还是那些掌政的南方文臣满满的皆是卸磨杀驴的套路，并已经定型，以致从意识形态和行为上都表露无遗。在此后蒙古南下灭金，中原干戈四起一时间很多金朝境内的将领、平民大举南下进入宋境内，成为了新的归正人。在这批人里很多人因为卓越的战功成长为南宋的方面大员，军队悍将。
刘整在金乱之际投宋隶属孟珙麾下，信阳战役中“整为前锋，夜纵骁勇十二人，渡堑登城，袭擒其守”，孟珙赞其“赛存孝”