霍光的小女儿成君未能入宫，霍光的妻子霍显气得火冒三丈。做了两年皇后的许平君再次怀孕，到快分娩时，有病召女医淳于衍入宫。霍显指使淳于衍谋害许皇后。本始三年（前71年）许皇后生产后，淳于衍趁机把事先带入宫中的附子粉末掺入丸中。生附子有毒，泡制过的附子也辛、甘、大热，孕产妇绝对禁用。许皇后服药后，就不明不白地死去了。不久霍光像，霍光的小女儿霍成君终于成为宣帝新的皇后。
　　 地节二年（前68年），霍光死。霍光执掌国政20年，大权独揽，虽无皇帝之名，已行皇帝之实。但是，霍光正确地执行了汉武帝临终遗诏的基本精神，终于使西汉王朝由社会动荡不安进入到“昭宣中兴”，为西汉的进一步发展奠定了基础。从这一点来看，霍光专政，对西汉王朝的健康发展，对社会的进步、国家的复兴、民族的发展作出了历史的贡献。
　　 夺回皇权
　　 24岁的汉宣帝熟知闾里奸邪、吏治得失，是一位富有社会经验的青年。他挣脱了辅政大臣的羁绊，开始亲问政事，独揽朝纲，渴望以自己的意志施政，励精图治。霍光在世时，宣帝对其既有一种畏惧感，又背上了一种感恩的包袱。现在霍光虽然病逝了，但霍氏家族仍然紧紧地控制着中朝的军政大权。宣帝不是鲁莽的政治家，表面上继续封赏霍光的子孙，让其享受荣华富贵，自我暴露，再逐渐削夺他们的权力；另一方面却加强外朝的权力，下诏给御史大夫魏相，暗查霍氏隐匿不报的上书，以防壅敝，进而戳穿其阴谋，逼迫其就范、让权，最后达到清除的目的。
　　 可是，颟顸的霍氏集团对皇帝的新动向毫无察觉，反而依仗皇太后、皇后的特殊关系，变本加厉地专横跋扈、奢靡越制。霍光的寡妻霍显及其儿子霍禹不经朝廷许可，私自越制该修霍光的陵墓。规模如同帝王陵墓一样；霍光孙霍云常称病不上朝，却私自外出，派自己的家奴代为上朝谒请；霍显与几位女儿又置宫禁制度于不顾，常常不分白天黑夜地进出太后所居的殿中。
　　 霍显没有意识到自己正处于危险之的漩涡之中，仍然颐指气使。宣帝立刘奭为太子的决定，深深地触怒了霍光的孀妻霍显。她气得不进茶饭，大口大口地吐血，遂教唆女儿霍成君毒死太子刘奭。然而，霍皇后实在找不到下毒的机会，但在态度上却常常对太子横眉冷对了。霍成君的一言一行，都被宣帝看在眼里，他表面上不动声色，只是暗地里加快了从霍氏家族手中夺回皇权的步伐。
　　 汉宣帝掌握霍氏罪行后，镇定自若，复封霍山为乐平侯，领尚书事。接着宣帝诏令吏民奏事，可以不通过尚书，直奏皇帝，大臣亦可直接参见皇帝，从而把尚书架空，使霍氏掌握的中朝的权力集中到皇帝手中。之后，汉宣帝又陆续将中朝的霍氏成员调离，并收兵权。网已经布好了，只等收网的那一天了。地节四年（前66年）夏，失去了权势的霍家人深为怨恨，开始密谋发动政变。霍禹、霍山等阴谋设计，杀丞相，废宣帝，立霍禹为皇帝。结果计划泄露，宣帝派兵逮捕霍禹，腰斩于市，霍显、霍云、霍山等自杀，霍皇后被废，居昭台冷宫。霍氏集团被一网打尽。
　　 汉宣帝尽管将霍光全家杀光，但并没有因此抹杀霍光的功绩。宣帝晚年在麒麟阁设置画像，霍光仍然被列为第一功臣。
　　 一代明君汉宣帝诛灭了霍氏集团，却继承并发展了霍光的治国路线。
【功绩：中兴之主】
　　 汉宣帝恢复了几失之于外戚的刘氏天下，研究了有汉有来统治天下的经验教训，在忠实执行汉武帝“轮台诏令”所制订政策的基础上，又进行了必要的补充和改革。