子的外祖父许广汉为平恩侯，许广汉的两个弟弟，一封为博望侯，一封为乐成侯；又令与霍氏有隙的御史大夫魏相给事中。最后，将霍氏家族调离实权位置，如迁霍禹为大司马，无印绶，罢其右将军屯兵官署；将霍光长女婿邓广汉由长乐卫尉调任少府；女婿、度辽将军、未央卫尉范明友调任光禄勋，不久后，又收其度辽将军印；次女婿、诸吏中郎将、羽林监任胜调出京城，任安定太守；霍光姊之女婿张朔由给事中、光禄大夫调任蜀郡太守；收中女婿赵平骑都尉印绶，调任散骑都尉、光禄大夫，赴外地屯兵；孙婿、中郎将王汉调任武威太守。霍氏家族诸将从前统领的胡越骑、羽林及两宫卫将屯兵，全部改由宣帝亲信的许、史两家子弟统领。
霍氏不甘心权势被削，遂密谋借机杀平恩侯许广汉和丞相等人，再以太后名义下诏废掉宣帝而立霍禹。阴谋败露，霍云、霍山自杀，霍禹等人皆腰斩、弃市，霍皇后被废处昭台宫。与霍氏相连坐诛灭者数千家。
宣帝虽然诛灭了霍氏，但在施政方针上与霍光并无分歧，基本上延续了昭帝时期轻徭薄赋、与民休息的统治政策，并多次减免全国或部分地区的租赋。宣帝还继承昭帝遗法，把都城和各郡国的苑囿、公田借给农民耕种，降低盐价。在政治上，宣帝还很重视官吏的选拔，注意平理刑狱，甚至还在未央宫宣室殿亲自审理重大刑狱。宣帝的这些政治、经济措施，使武帝末年以来的社会矛盾继续得到缓和，农业生产开始上升。据史书记载，当时的谷价下降到每石五钱，边远的金城、湟中地区，每石也不过八钱，这是西汉以来最低的谷价记录。
昭帝和宣帝实行的一系列政治、经济措施，使武帝末年的社会矛盾得到了一定程度上的缓解，西汉王朝上又出现了几十年的兴盛景象，历史上习惯称这一时期为昭宣中兴。
所以霍光会说自己没看错人，废掉了荒淫无度的绔子弟刘贺而拥立刘病已可谓是对大汉国运有着巨大的作用。
当年刘贺本是纨绔子弟，荒淫无度。汉武帝死时，他竟于服丧期间四处游猎，虽有属下苦谏不止，他仍放纵自若。昭帝死后，霍光等大臣以太后的名义派车迎接他入京登基，他喜不自胜。在进京途中，就派人掠取民间女子、财产，并让其属吏。家人都穿上刺史的官服，封官进爵，任其胡作非为。
看到这种情况，霍光等众大臣都感到事态严重，如果不及早处置，将会使汉家天下断送到刘贺的手里。于是在刘贺即位的第27日，霍光将所有在朝大臣、列侯、博士等召集到未央宫，举行会议，当众宣布了要废掉刘贺，另选贤明的意图。与会大臣、博士等人一听这个消息，都感到意外，因为废立之事，关系重大，谁也不敢发言。
田延年看到这种情况，立刻站起来发言，假意斥责霍光，说汉武帝把汉家天下寄托给霍光，就因为霍光忠诚于汉室，能使汉朝长治久安。现在如果继续维持刘贺的帝位，那汉家天下就会断送，你霍光将来死了，又有何面目去见汉武帝呢！他手握剑柄，严