霍家先派人联络广陵王刘胥。刘胥是武帝四子，也是燕剌王刘旦的弟弟。二人都是李姬的儿子，李姬虽然产子最多，却不得武帝宠爱，最后忧郁而死。后来李旦被霍光和孝昭帝联合逼死，刘胥的帝王梦又两次折在霍光手里，他对霍光是恨之入骨。
自从霍光死后，右将军霍禹开始拉拢刘胥，刘胥也希望借助霍家在朝势力，帮助自己站稳脚跟。望着霍禹寄来的信笺，刘胥大笑道：“儿啊，你可知道霍家为何联系寡人？”太子刘霸沉思片刻道：“父王，孩儿以为霍家没安好心，必然是想拿爹当枪使。咱们可不能上当啊！”
刘胥欣然点头道：“我儿有长进，霍禹这小子，还想赚寡人？他道行还不够！除非他肯答应拥立我为君，否则我不可能答应他任何条件。”刘霸惊骇道：“父王，这恐怕不妥啊！几年前楚王谋反，事情牵涉父王，陛下念在武皇帝面子上，不仅宽恕了咱们，而且还赏了您五千斤黄金。不久前陛下又册封弘弟为高密王，封我们为列侯，恩宠深厚。如果咱们忘恩负义，只怕会遭天谴。”
听太子一番分析，刘胥也逐渐动摇了。回想这些年的屈辱，先是侄子刘贺被拥立为帝，接着侄孙刘病已被立为皇帝，他心有不甘，咬牙道：“当初巫师说先帝托梦，必会把帝位传给寡人，如果不是霍光这奸贼从中作梗，寡人早就是天子了！如今寡人已经错过了两次机会，这第三次决不能错过！现在霍家与陛下斗得水火不容，正是寡人坐收渔利的好机会！”刘胥猛攥五指，竹简断裂两段。刘霸见劝不动，只好作罢。
霍家同时派人联系故昌邑王刘贺。刘贺是武帝五子刘髆的独生子，祖母是李夫人。李夫人是武帝最宠爱的妃子，武帝死后，霍光作为辅政大臣，率先追封李夫人为孝武皇后，李夫人这才得以与孝武帝合葬。后来孝昭帝不得不追封母亲钩弋夫人为皇太后，修建云陵安葬之，并设置园邑三千户。昭帝忧郁而死后，霍光之所以愿意拥立刘贺，就在于这层关系。
自从刘贺夺权失败后，霍光先废了他的帝位，后废了他的封国，刘贺无官无爵，只有汤沐邑两千户。后来病已可怜刘贺，于是将原来的宫殿又赐给了他。
刘贺经历了大起大落，深知病已雄才大略，霍光手段狠辣，料定二人必然忌惮自己，于是将朝廷宿卫全部打发走了。接着利用原先的家财，命人雇佣普通百姓站岗，防备盗贼，保护王宫。为防被人抓住把柄，刘贺又遣散了上千丫鬟，只留一百多人伺候，尚且比不上小小的豪门大户。
王宫大门紧闭，每日只开小门，派廉洁睿智的差役领取钱物变卖，再买回必需品。而且差役每天早上进出宫一次，此外不再随意出入。不仅奴婢不随意出宫，就连刘贺和妻儿也常年不外出。
自从被废，刘贺一直住在宫里，始终不曾出宫，既不主动与外人接触，更不与朝廷官员交往，相当于完全把自己封闭起来了。他以前最喜欢打猎，老虎、野猪不在话下，现在也都戒掉了。依然担心遭人忌惮，又常常装傻充愣，答非所