大将军要废昌邑王，还要列举一千一百二十七事恶事，再让满朝文武上书，最后请太后下旨。彼时大将军是辅政大臣，亲信遍及朝廷，又手握兵权；而昌邑王初来乍到，既根基浅薄，又没有兵权。凭大将军的威信和权势，尚且不容易，咱们没有大将军的兵权和威望，而陛下又聪睿智谋，手握兵权，亲信遍布朝廷，咱们贸然起事，只怕是以卵击石啊！”光禄勋范明友也忙附和。
胡显冷笑道：“瞧把你们吓得，没出息的熊样！咱们上有太皇太后，又有皇后，整个后宫都握在咱们手里。我想让刘病已三更死，他绝活不过四更！你们怕什么？再说，咱们手里还握着未央宫和期门兵，如果他刘病已敢轻举妄动，咱们立刻废了他！”
霍禹忧心道：“陛下得人望，这些年兴修水利，减轻徭役，免除赋税，甚至贷民粮食，百姓五谷丰登，谁肯造反？而且任用贤官良吏，罢黜贪官污吏，打压地方豪强势力，百姓无冤屈，谁肯谋反？又重用微末士人，打压贵族，百姓有了上升通道，谁会反抗？”
胡显怒道：“百姓算个屁！当初你爹废昌邑王需要百姓了吗？他们不过是一群乌合之众，就算给你十万也无用。咱们需要的是诸侯国的声援，只要太皇太后废立诏书一下，诸侯王群起攻之，刘病已只有退位一条路。”
范明友小心翼翼问：“可是诸侯王都对陛下心服口服，除了广陵王刘胥，其余人没人肯反啊！”胡显大笑道：“谁说没人？广川王的弟弟刘去被刘病已逼死，他会对刘病已心服口服？还有故昌邑王刘贺，他虽然是被大将军废的，可是夺他皇位的是刘病已，大将军已死，他必然对刘病已恨之入骨！只要咱们许以重利，他必然心动。还有其余诸侯王，都联络一下。只不过除了刘胥、刘贺以外，其余诸侯王，你们不要直接接触，派亲戚与他们联络。”
霍云大喜道：“我舅父养了许多门客，可以让他负责这件事。”众人纷纷附议，于是胡显命霍云舅父李竟负责联络诸侯王。
第二日霍家齐聚，送张朔和王汉出京，前往蜀郡和武威就任。霍禹许下重诺道：“你们安心离去，一年以后我必接你们回来！”张朔、王汉挥泪告别。霍禹转身命奴仆冯子都召集众门客，霍云也嘱咐舅父李竟派人联络诸侯王，两线出击。