弟更为骄纵，连奴仆都横着走。丞相韦贤见霍家日益骄纵，奴仆冯子都又被无罪赦免，叹气道：“陛下这是纵虎归山，养虎遗患啊！”这时奴仆来报：“禀主人，霍家奴仆故意找茬，当街拦住我们几个去路，不仅将我们痛打一顿，而且扬言……”韦贤皱眉道：“扬言什么？”奴仆小心翼翼道：“扬言要主人过去赔罪，否则绝不善罢甘休。”
韦贤大怒，指着奴仆质问：“你们为什么又去惹霍家？到底怎么回事？”奴仆委屈巴巴道：“主人息怒，不是我们要惹霍家，是霍家奴仆无故辱骂主人，逼我们动手。我们受主人厚恩，也不能任由那泼皮辱骂主人啊！”韦贤愁眉道：“都下去！去把大公子叫来！”
不久谏大夫韦玄成疾步而来，虎虎生风，他年仅三十岁，正是年富力强时。韦玄成吃惊道：“爹，我怎么听说霍家又在找事，到底怎么回事？”韦贤双目紧闭，面露暗色，幽幽道：“霍家的事暂时不提了，你去替为父上道辞呈。为父已经七十多岁了，是时候该致仕还乡了。古人说，七十三、八十四，阎王不请自己死。为父也没有几年活头了，今后朝堂是你们的，让你们年轻人去驰骋吧！”
韦玄成大骇，“爹，汉兴以来还没有丞相致仕还乡的先例啊！您贸然辞职，会不会被人诽谤藐视朝廷？就算陛下不治罪，也未必会同意啊！”韦贤摆手道：“你替我再上一道奏疏，希望辞去丞相职务后，能继续主持隶书革新之事，为繁荣大汉文化竭尽余力。陛下对这件事十分看重，必然会同意。”
两封奏疏上达，病已忧心忡忡道：“丞相辞职是不是与霍家有关？”给事中丙吉、梁丘贺、中常侍许嘉、侍中张彭祖、杜佗、侍中兼中郎将史高、史曾、史玄、张千秋、侍中光禄勋张延寿等人纷纷低头。
唯独梁丘贺娓娓道：“陛下，不管与霍家有没有关系，丞相这么做都是利大于弊。一来创新隶书，既能够提高官府办案效率，又能够促进典籍文化传播，还能够提高百姓文化素养，是功在千秋的大事。二来，丞相年迈，毕竟不如年轻人，应该让年轻人上位，发挥才智。三来，霍家既然对丞相不满，不如换了丞相，先让一步，既稳住霍家，又安抚皇后。”
病已嘴角露出一丝斜笑，“准奏，命丞相主持隶书之事，赐金百斤，赏赐宅第，其余薪俸依照规制。”丞相致仕从韦贤开始，为年轻人让位，使物尽其力，人尽其才。