当众揭了皇上的老底，还以官位相威胁，可是大不敬之罪，皇帝无处宣泄的怒火顿时有了发泄之地，抓住这点不放，又获得李勣的支持，不但立了喜欢的人为皇后，还瓦解了长孙无忌集团。在众人的求情下，褚遂良保住了命，被贬为潭州都督。
有人诬陷褚遂良等人图谋不轨，而李治与武则天显然怒气未消，将褚遂良贬到了今天的越南。经过了几年的煎熬，褚遂良已经老态龙钟，十分希望得到李治的原谅。于是，他颤巍巍地提起笔，写了一封表奏。虽然书法仍然苍劲有力，但内容却又一次错位。
他将自己功劳一一列举，如何扶保李治登基，如何成为托孤大臣，如何辅佐朝政等等。这样的求情无异于自找苦吃，是在数落皇帝忘恩负义吗?求情哪有这么理直气壮的!如果只是承认冒犯天威，乞求皇帝放过自己，准许自己告老还乡的话，说不定还有一丝希望!太过可惜了。这样的求情无济于事，一年之后，褚遂良在绝望中郁郁而终。
李玄霸但是也心宽的很，言道：“功是功，过是过，李治遗诏准许褚遂良魂归故里，武则天临终前也同意恢复他的爵位，算是对褚遂良一生功绩的肯定！“
褚遂良工于书法，初学虞世南，后取法王羲之，与欧阳询、虞世南、薛稷并称“初唐四大家！”，李玄霸较为欣赏的有孟法师碑和雁塔圣教序。
隋开皇十六年，公元五百九十六年，褚遂良出身于名门贵族。父亲褚亮在隋朝官至散骑常侍一职，与虞世南、欧阳询等人为好友。褚亮因与杨玄感有交情，故在杨玄感起事被镇压后左迁为西海郡司户。大业十三年，公元六百一十七年七月，薛举称帝，褚亮被任命为黄门侍郎，褚遂良则做了薛举的通事舍人，掌管诏命及呈奏案章。
战神李玄霸深知，在唐高祖李渊建立唐王朝之后，其后派遣李世民平定西凉割据势力，却被薛举击败。薛举在东征长安途中病死，其子薛仁杲继位。同年十一月，李世民包围了薛仁杲驻扎在泾州的营寨。薛仁杲投降，被押往长安处决，而他手下的人被收编在李世民的麾下，褚遂良就这样入仕李唐王朝，开始了他的政治生涯。起初，褚遂良在秦王李世民那里做铠曹参军，李世民对褚遂良怀有好感。
武德四年，唐高祖命李世民掌握东部平原文、武两方面的大权，并且允许他在洛阳开府——天策府。同年，李世民成立了自己的文学馆，其中有十八名学士在做他的国事顾问。
褚遂良的父亲褚亮便是其中的一员，主管文学。在这样的环境中，褚遂良的学识与日俱进。尤其是书艺，在欧阳询与虞世南的指导下，更是出类拔萃，且具备了欧、虞二人所不具备的政治地位与社会名望。唐会要卷六十四史馆下，弘文馆的日常事务，就是由褚遂良来管理的，人们称他作“馆主”。
李世民发动了“玄武门之变”，随后被立为皇太子。八月，唐高祖禅让皇位，李世民登上了皇位，次年改年号为“贞观”，是为唐太宗。贞观三年，唐太宗下诏在隋末战