后，有人为吴氏打算，想让吴曦世袭将职。留正竭力请求留吴曦为环卫官，派张诏继任吴挺的职位。以后数年，吴曦入蜀，最终没有改变吴氏世袭将帅之职的局面。
《德皇圣政》一书写成，留正被升为少保，封为卫国公。李端友因为与后妃有亲戚关系，光宗下诏他拜为郎官。留正交还诏书，光宗不收，留正又拿着奏札说道：“过去馆陶公主为儿子求郎官之职，明帝不答应。今天李端友凭着内亲，求郎官之职，恐怕会有损于圣德。”姜特立拜为渐东副总管，不久光宗召他回朝，留正引用唐宪宗召见吐突承璀的事例，乞求罢去宰相之职。
光宗却批示道：“命令已经颁行，不能反悔，你应该自己处理。”留正于是在六和塔待罪，他上奏：“近年来，不知是谁进献了那么有把握的策略，以致陛下每件事都坚决执行，断断不能改变。天下很大，机要事务至烦，事情出于正确方面，那么无不同意见，皇上可以坚持执行；事情出于不正确的方面，那么大家会议论纷纷，必须只按正确的去做。我担心从此以后，事情不管对错，陛下一概坚定既定之策，谏言之路就会被堵塞。”留正于是交回前后所得的赏赐以及收回请求休假的报告，在范村待罪，乞求回归田里，光宗不答应。
绍熙五年正月的时候，孝宗病情恶化，留正又多次请求光宗到宫中去拜见孝宗。一天，光宗拂袖而起，留正拉着光宗衣服的大襟，哭着劝谏，又随同光宗来到福宁殿门口。罗点也趁机上奏道：“太上皇病势已危，若再不去探望，后悔无及。”光宗也不回答，只管转身进去。留正等人随着后面，到了福宁殿，光宗进入了殿中，急忙令内侍关门。留正等人不能进去，只能大哭出宫。过了二日，留正等人又请求面奏。
光宗却令知阖门事韩侂胄侂传旨道：“宰相们一起出去。”留正等人听了旨意，于是相继出城，到钱塘江北岸的浙江亭待罪去了。光宗听说留正等出城，还是不以为意。孝宗得知，却忧上加忧，于是召韩侂胄去询问缘由。
韩侂胄字节夫，相州安阳人。他是魏郡王韩琦曾孙，宝宁军承宣使韩诚的儿子，宪圣皇后吴氏的外甥，恭淑皇后韩氏的叔祖，宋神宗第三个女儿唐国长公主之孙。年轻的时候，以恩荫入仕，历任合门祗候、宣赞舍人、带御器械。淳熙末年，官至汝州防御使、知合门事。