山阳太守张敞呈上密封奏章说：“我听说，春秋时期，公子季友对鲁国有功，赵衰对晋国有功，田完对齐国有功，他们的功劳都得到了酬报，并且延续到子孙后代。但后来，田氏篡夺了齐国政权，赵氏瓜分了晋国，季孙氏在鲁国专权。所以孔子作《春秋》，考察历史的兴衰，对世代为卿的现象讥讽得最为严厉。以前，大将军霍光决定重大决策，安定宗庙，稳定天下，功劳也不小。周公辅政七年，而大将军掌权二十年，天下的命运都掌握在他手中。在他权势最盛的时候，能感动天地，影响阴阳。朝臣们应该明确进言：‘陛下褒奖宠信原大将军，以报答他的功德，已经足够了。近来辅政大臣专权，贵戚势力太盛，君臣之间的名分不够明确，请罢免霍氏三位侯爷的官职，让他们回家。’对于卫将军张安世，也应该赐给他几案和手杖，让他退休，时常派人问候召见，让他以列侯的身份做天子的老师。如果陛下公开下诏表示施恩，大臣们再依据大义坚决谏争，然后陛下予以批准，天下人一定会认为陛下不忘功德，而朝臣们也懂得礼仪，霍氏家族也能世世代代没有忧患。如今朝廷听不到正直的声音，却让陛下亲自下诏书处理这些事，这可不是妥善的办法。如今霍氏两位侯爷已经被调出朝廷，人之常情相差不大，依我看，大司马霍禹及其家族成员一定会感到畏惧。近臣感到自身危险，这可不是国家的长治久安之计。我张敞愿意在朝堂上公开提出这件事，但我身处偏远的山阳郡，没有机会。希望陛下仔细考虑。”汉宣帝认为张敞的建议很好，但没有召见他。
霍禹、霍山等人的家中多次出现怪异现象，全家人都忧愁不安。霍山说：“丞相擅自减少宗庙祭祀用的羊羔、兔子和青蛙，可以用这个罪名来惩治他。”他们谋划让太后为博平君设酒宴，召丞相、平恩侯等人前来，让范明友、邓广汉按照太后的命令将他们斩杀，趁机废掉天子，拥立霍禹为帝。计划还没有实施，霍云被任命为玄菟太守，大中大夫任宣被任命为代郡太守。恰逢事情败露，秋七月，霍山、霍云、范明友自杀，霍显、霍禹、邓广汉等人被逮捕，霍禹被腰斩，霍显以及她的女儿、兄弟都被斩首示众，与霍氏家族有牵连而被诛杀的有几十家。太仆杜延年因为是霍氏的旧人，也被免职。八月己酉日，皇后霍氏被废，安置在昭台宫。乙丑日，汉宣帝下诏封告发霍氏谋反的男子张章、期门董忠、左曹杨恽、侍中金安上、史高为列侯。杨恽是丞相杨敞的儿子，金安上是车骑将军金日磾弟弟的儿子，史高是史良娣的哥哥。
当初，霍氏家族奢侈无度，茂陵人徐生说：“霍氏家族一定会灭亡。因为奢侈就会不谦逊，不谦逊就会对君主傲慢无礼。对君主傲慢就是大逆不道。地位在别人之上，就会招来众人的怨恨。霍氏家族掌权已久，怨恨他们的人很多。天下人都怨恨他们，而他们又做出大逆不道的事，怎么可能不灭亡呢？”于是，徐生上书说：“霍氏家族权势太盛，陛下如果厚爱他们，就应该及时加以抑制，不要让他们走向灭亡。”他多次上书，都只是得到回复说知道了。后来，霍氏家族被诛杀，告发霍氏的人都得到了封赏，有人为徐生上书说：“我听说有个客人去拜访主人，看到主人家的烟囱是直的，旁边还堆积着柴草，客人就对主人说：‘把烟囱改成弯曲的，把柴草移远一点，不然会有火灾。’主人却沉默不语。不久后，主人家果然失火，邻居们一起帮忙救火，才侥幸把火扑灭。于是，主人杀牛摆酒，答谢邻居，被烧伤的人坐在上席，其他人按照功劳大小依次就座，却唯独没有邀请那个建议把烟囱改弯、移走柴草的人。有人对主人说：‘如果你当初听了客人的话，就不用花费杀牛摆酒的钱，也不会发生火灾。如今论功请客，那个提出把烟囱改弯、移走柴草建议的人没有得到一点恩泽，而被烧得焦头烂额的人却成了上宾，这合适吗？’主人这才醒悟过来，邀请了那个客人。如今茂陵的徐福多次上书说霍氏家族会有变故，应该提前防范杜绝。如果徐福的建议能够实行，国家就不会有分封土地、赏赐爵位的花费，臣下也不会有因谋逆叛乱而被诛杀的灾祸。过去的事情已经发生，而唯独徐福没有得到应有的功劳，希望陛下明察，重视那个提出把烟囱改弯、移走柴草建议的人的先见之明，让他的地位在那些被烧得焦头烂额的人之上。”于是，汉宣帝赏赐给徐福十匹绸缎，后来又任命他为郎官。
