遍及朝廷。
霍光还曾想把女儿嫁给宗正丞刘德。刘德字路叔，颇有谋略，年少时被武帝召见，因为足智多谋被武帝称赞为“千里驹”。自从昭帝即位，刘德被封宗正丞，其父刘辟强为宗正，父子二人掌管皇亲国戚等重大事务。霍光本想拉拢刘德，一日拍着刘德肩膀道：“我与你父亲关系十分要好，听闻你娇妻去世，我十分难过啊！我有一女，样貌不俗，希望许给你为妻，不知道你意下如何？”
刘德年约三十，样貌清秀，身体稍显单薄，见大将军亲自开口，没敢当面回绝，只是笑答：“大将军厚爱，刘德无以为报。不过这婚姻大事，还是要讲究父母之命。我父尚在，我不敢轻易做主。待我问过父亲，再回大将军话。”
霍光欣然点头，刘德慌忙辞别。回到家后，他左思右想，总觉得不妥，于是询问父亲刘辟强。刘辟强已经八十岁高寿，耳聋眼昏。刘德无奈道：“儿料定霍家盛极必衰，早晚必出事。霍大将军虽然为人谨慎，从不越矩，可他的女儿娇生惯养，儿子又张扬跋扈，恐怕大将军一走，再无人能替霍家遮风挡雨。这门亲事如果成了，恐怕我们家难得善终，不如委婉拒绝，虽然一时引大将军不高兴，但长久来看是因祸得福。”
未能与刘德联姻，霍光深为叹息，时刻担心家族命运，害怕有人颠覆朝廷。一日傍晚，宫中闹鬼，群臣大惊。霍光担心有人趁机造反，急忙召来尚符玺郎李忠武。尚符玺郎负责保管皇帝玉玺和符印等。霍光急切道：“殿中有贼人，想图谋不轨，恐怕会盗窃玉玺，颠覆朝廷，你速速把陛下玉玺交给我保管！”李忠武抱着锦盒道：“这是天子之物，岂能轻易交给外臣？”霍光大怒，“我是先帝托孤重臣，难道我会造反吗？速速把玉玺交给我，否则出了大事，你担得起吗？”李忠武执意不肯，怒视霍光。
见他不识趣，霍光急忙上前抢夺玉玺。李忠武拔剑半出鞘，厉声道：“大将军如果再进半步，休怪我无情！微臣奉命保护玉玺，头可断，血可流，玉玺不能丢！”霍光一惊，怒道：“好，你有种！”