乱时期的战场修建庙宇，以纪念功业，为死难战士祈福。其中在战胜宋金刚的晋州建立慈云寺，由褚遂良书碑。
褚遂良出任起居郎，专门记载皇帝的一言一行，虞世南逝世，魏徵将褚遂良推荐给李世民，太宗命他为“侍书”。
李世民曾广泛收集王羲之的法帖，褚遂良可以鉴别出王羲之书法的真伪，使得没有人再敢将赝品送来邀功。唐贞观十五年，褚遂良劝谏太宗暂停封禅。同年由起居郎迁谏议大夫，李世民每有大事，几乎都要向褚遂良咨询。
太子李承乾以谋害魏王李泰之罪被废，太宗欲立李泰，而褚遂良与国舅长孙无忌则极力说服太宗立第九子晋王李治为皇太子即唐高宗。
褚遂良以黄门侍郎的身份开始参预朝政决策。随后，他被皇帝派往全国各地，巡察四方，直接可以黜陟官吏。
当时，高句丽大臣渊盖苏文杀死了唐朝所册封的国王高建武，唐太宗想以此为借口亲自去征讨高句丽，此事遭到了褚遂良的反对，但是太宗没有采纳？
褚遂良又被起用为黄门侍郎。同年九月，被提升为中书令，成为继魏徵之后，与刘洎、岑文本、马周、长孙无忌一样在唐代政坛上起着举足轻重作用的大臣。
唐太宗李世民在弥留之际，将长孙无忌与褚遂良召入卧室，对二人说：“卿等忠烈，简在朕心。昔汉武寄霍光，刘备托诸葛，朕之后事，一以委卿。太子仁孝，卿之所悉，必须尽诚辅佐，永保宗社。”对太子李治说：“有长孙无忌和褚遂良在，国家之事，我就放心了。”于是命令褚遂良起草诏书。
李治继皇帝位，封褚遂良为河南县公，次年，又升为河南郡公，后借故把他贬为同州刺史。三年后，高宗又把他召回身边，征拜为吏部尚书，同时监修国史，加光禄大夫，又兼为太子宾客，褚遂良又升为尚书右仆射，执掌朝政大权，这是他政治生涯中的顶峰。
在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图。高宗召太尉长孙无忌、司空李勣、尚书左仆射于志宁以及褚遂良进官商议废后立后之事。
褚遂良发了一通议论，给皇帝泼了一瓢冷水。而他的那种不要命的态度——将官笏放在台阶上，同时也把官帽摘下，叩头以致于流血——更使皇帝大为恼火，让士兵把他强行拉了出去。
而坐在皇帝后边的武氏则恨不得立刻将他处死。在关键的时候，善于迎合旨意的李勣却说了一句话：“此乃陛下家事，不合问外人。”这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。
褚遂良也被武皇后赶出朝廷，到潭州任都督。武后的儿子李弘被立为太子，褚遂良调到离京师极远的桂州，今广西桂林去任都督。同年晚些时候，武则天则与许敬宗、李义府一起，诬告中书令来济、门下侍中韩瑗与在广西的褚遂良共谋反叛。
晚年的褚遂良又一次被贬——这一次是被贬到更