高俭,字士廉,渤海蓚人。曾祖父高飞雀,在北魏被追封太尉。祖父高岳,在北齐官至侍中、左仆射、太尉、清河王。
父亲高励,字敬德,在北齐官至乐安王、尚书左仆射,在隋朝官至洮州刺史。高士廉年轻时有器量,通晓文史。隋朝司隶大夫薛道衡、起居舍人崔祖浚都是先贤,与高士廉是忘年之交,因此很多公卿与他交往。
大业年间,高士廉任治礼郎。高士廉的妹妹嫁给隋朝的右骁卫将军长孙晟,生了儿子长孙无忌和一个女儿。
长孙晟去世后,高士廉把妹妹和外甥接回家,他们感情深厚。他见尚未显贵时的太宗很不一般,所以把外甥女嫁给太宗为妻,即后来的文德皇后。
隋军征讨辽地时,当时兵部尚书斛斯政逃亡高丽,高士廉因为是他的朋友而株连获罪,贬谪任朱鸢主簿。他是有名的孝子,岭南有瘴疠,母亲不能同行,就留下妻子鲜于氏奉养。
补贴经费的不足，又想到妹妹没有着落,他就卖掉大宅,买了小宅安顿妹妹住下,把剩下的钱分给母亲和妹妹,自己带上简单的行李赴任。不久，天下大乱,朝廷的消息断绝,交趾郡太守丘和任命他为司法书佐。
高士廉长期在岭南,不知道母亲的情况,回家的心情越来越急切。有一次午睡,梦见母亲跟自己交谈,像是坐在母亲身边,醒后热泪纵横。第二天，他果然得到了母亲的音讯。
人们认为这是孝心的感应。当时，钦州宁长真领兵攻打交趾郡。丘和准备出城迎接他,高士廉建议说：“宁长真兵马虽然众多,但孤军深入。他军中不和，治军松散，士兵迫于形势才跟随他,他不能坚持多久。城里的精干兵力足以抵御他,为何准备接受他的管制?”
丘和听从他的建议,任命他为行军司马，水路陆路一齐攻打宁长真。宁长真大败,只身逃走,残部全部投降。在平定萧铣后,高祖让高士廉巡视岭南。
武德五年,高士廉与丘和上表回到朝廷。高士廉被提升为雍州治中。
当时，太宗任雍州牧。由于高士廉是文德皇后的舅父,一向具有才能声望,太宗非常亲近、敬重他。太宗准备除掉太子李建成时,高士廉和他的外甥长孙无忌一起参与秘密谋划。
武德九年六月初四,高士廉率领下属兵卒释放在押囚犯,发给武器,急奔芳林门,准备配合太宗。太宗立为太子时,高士廉任太子右庶子。贞观元年,他被提升为侍中,封义兴郡公,赐食邑九百户。
高士濂明察事理、能言善辩，注重仪容举止。他所提出的建议,朝臣们无不重视。当时，黄门侍郎王珪有密奏托高士廉呈递太宗,他扣下不奏。因此，高士廉获罪出京任安州都督,后调任益州大都督府长史。
蜀地民俗轻薄,民众畏惧鬼神厌恶病人,对病情危重的父母大多不亲自伺候,用棍棒挑着食物,站得远远地递给他们吃。
高士廉因势诱导,风俗很快改观。秦昭王时的蜀