于是再度命女巫李女须作法，咒诅汉帝。同时联络楚王，相互私下通信，埋怨朝廷。
汉帝即位后，见霍光权倾朝野，叹息道：“难怪先帝能被气死，这皇帝也太窝囊了，朝中大事全部由霍光做主，连后宫太监和宫女也都怕他怕得要死，不行，朕得培养自己的势力。”
龚遂、王吉联手劝谏，汉帝终究不听，怒道：“朕是天下之主，他不过一臣子，难道他还能废了朕？来人，传朕旨意，即日起封长乐卫尉邓广汉为太常丞，未央卫尉霍山为仆射，奉车都尉霍云为大司农丞，羽林令任胜为少府丞。命昌邑国相安乐为长乐卫尉，护卫后宫。命昌邑国中尉王吉为未央卫尉，护卫皇宫。命寿成为奉车都尉，掌御乘舆车。封昌邑国郎中令龚遂为给事中兼羽林令，郭侃为侍中兼期门仆射，宋问为侍郎……”
龚遂大骇，忙劝谏道：“陛下，万万不可啊！我等虽然拥立陛下有功，可如此封赏，必然引起大将军不满。何况邓广汉是大将军女婿，霍山、霍云是大将军侄子，无缘无故剥夺众人军权，大将军必然心生猜忌！”王吉也附和道：“陛下，当初还没来长安时，微臣曾多次提醒，难道陛下都忘了吗？大将军手握天下兵马，废立谁不过是一句话的事。您即便要夺权，也不该现在夺，至少要等到大将军不在了。贸然收回兵权，只会惹怒大将军，局面将难以收拾！”
汉帝大笑道：“朕虽然是他拥立，可他是臣，朕是君，生杀予夺大权只能握在朕手里，岂能握在臣子手里？臣子权利太大，早晚会弑君犯上，即便不弑君，也会擅自废了君王。朕不能坐视臣子一手遮天，更不会成为他手中的牵线木偶！”
霍光听闻汉帝刚即位就新君上任三把火，而且把把烧向自己，气得老脸通红。不久夫人胡显招来儿子霍禹、侄子霍山、霍云、女婿邓广汉、赵平、范明友、任胜、家奴冯子都等人。其中霍禹是中郎将，霍山原本是未央卫尉，霍云原本是奉车都尉，邓广汉原本是长乐卫尉，赵平是骑都尉兼光禄大夫，范明友是卫尉兼度辽将军，任胜原本是羽林令。
胡显怒道：“短短几日，陛下就明升暗降，夺了山儿、云儿、广汉、任胜等人职位，真是忘恩负义，不知廉耻！咱们再不出声，下一步就该轮到禹儿、赵平、明友了。等剥夺了他们军权，下一步就是夫君你！与其坐以待毙，不如愤而反抗，废了他！”霍禹年近三十，也急声附和：“爹，咱们不能再等了，否则后下手就要遭殃了！让三姐夫调集屯兵，请四姐夫调集南军，儿亲自率领府兵……”
没等他话说完，霍光抬头瞪眼道：“你想干什么？造反吗？屯兵、南军、府兵？就凭这些，你以为就能够控制京师，就能废立君王？”霍禹怯怯诺诺道：“儿知道还有北军、羽林和期门军，不过张安世是爹的人，羽林和期门也多是咱们的人，只要爹振臂一呼，必然群集响应！”
霍光冷笑道：“就算你让把京城的兵马都握在手里，你以为废了君王就能安天下？四方多少边将？天下多少兵马？天下又