帝王礼仪，乱汉家制度。臣敞等数进谏，始终不听，且变本加厉。臣等担忧继续纵容必将祸乱天下，危及社稷，因此与博士议，众人皆以为陛下无德无道，是自绝于祖宗，自绝于天下，当废！”太后准奏，即刻颁布诏书。
汉帝大笑道：“成王败寇，自古如此。朕是不是只剩跪地求饶一条路了？不过朕不会低头，绝不会！笔在你们手里，你们想怎么写就怎么写。你们甚至可以篡改史书，将朕写成像纣王一样的无道昏君。不过大将军不要忘了，朕是你拥立的，也是你们逼着朕当这个傀儡。朕落不到好名声，你以为你就能成为伊尹第二？朕虽然无道，可古语说‘天子有诤臣七人，虽无道不失天下；诸侯有诤臣五人，虽无道不失其国。’只要你们忠心辅佐，天下岂能大乱？如今不教而诛，分明是谋权篡位！”
霍光冷笑道：“太后已经下诏废了你的帝位，你岂敢再称天子？”当即上前抓住刘贺胳膊，强行夺走玺印。又拽着刘贺出了大殿，亲自送往金马门。群臣相继出殿，送刘贺前往金马门。
刘贺咬牙道：“大将军，你就不怕千秋之后史书对你口诛笔伐？”霍光不屑一顾道：“大王自绝于天，自绝于地，自绝于祖宗，不忠不孝，不仁不义，这必是后人对大王的评价。至于微臣，宁肯负大王，不敢负社稷，为了汉家江山我也算尽力了，功过留给后人评说就是。”
待送到昌邑邸后，霍光领着群臣道：“大王自绝于上天，臣等愚笨怯懦，不能杀身成仁，以死相谏。臣等有负大王期许，有负社稷重托，死罪死罪！望大王自珍自爱，臣等谨送！”想起当初武帝临终托孤，霍光泪湿眼眶，挥泪离去。
回到宣室殿，霍光道：“昌邑王无德，如今被废是自取其辱。诸位大臣商议一下，该如何处置昌邑王？是继续放过昌邑国，还是放逐到他地？”大司农田延年扬声道：“自古以来，凡是被罢黜之人都要放逐到很偏远的地方，以免他再度为乱，干扰朝政。微臣建议把昌邑王迁到汉中房陵县。”群臣纷纷附议，唯独丞相杨敞、宗正刘德、太仆杜延年、大鸿胪韦贤等人一言不发。
霍光询问杨敞，杨敞支支吾吾道：“这恐怕不妥吧？汉中西就是武都，万一昌邑王与羌族等勾结，岂不是祸乱凉州？”霍光又问蔡义，蔡义面色严肃道：“昌邑王已经被废，似乎没有必要迁徙汉中，否则会使天下人非议。不如放回昌邑国，将昌邑国废了就是。”
大鸿胪韦贤起身道：“不妥！如今废立君主已经开了先例，如何能再开先例？当初周厉王弭谤，国人道路以目，忍无可忍之时，国人暴动将周厉王放逐。即便残暴如周厉王，也仍然住在汾水之旁，称为汾王。昌邑王残暴不及周厉王，如何能放逐汉中房陵？又岂能随意废国？”
霍光无奈笑道：“罢了，既然众人意见不一，那就取个折中的方案，按照御史大夫的意见，将昌邑王放回昌邑国，同时废昌邑国为山阳郡。”霍光率群臣请旨，太后于是下诏，令刘贺回到故国昌邑，并赐给他汤沐邑二千