公元前87年，漢武帝在臨終時任命霍光為大司馬大將軍，和金日磾、上官桀、桑弘羊等人一起輔佐時年八歲的漢昭帝。自此，霍光開始了近二十年的權臣生涯。
霍光在漢昭帝執政時期就已經獨攬大權，漢昭帝英年早逝後，霍光迎立漢武帝之孫、昌邑王劉賀即位。但僅僅過去了二十七天，霍光就宣佈劉賀做下一千一百二十七件錯事，不配君臨天下。因此廢掉了劉賀的皇帝之位，將其趕回昌邑軟禁。這是中國歷史上第一次權臣廢皇帝的事件。之後，霍光又迎立漢武帝曾孫劉病已（後改名劉詢）繼承皇位，即漢宣帝。
漢宣帝即位後朝政大權仍牢牢掌握在霍光家族的手中。霍光安排由自己的心腹掌管京師禁軍，他的兒子霍禹、侄孫霍山則成為朝中大臣們的領袖。漢宣帝深知霍光家族權傾朝野，自己雖然身為皇帝，但卻完全沒有實力與其抗衡，因此只好剋制著不去過問國事，一切都由霍光予以定奪。
劉詢在成為皇帝前已經娶了一個叫許平君的女子為妻，兩人感情很深。當上皇帝后，許平君被冊封為皇后。但霍光的夫人想要將自己的小女兒嫁給皇帝當皇后，於是就命宮廷女醫淳于衍偷偷將許平君毒死。之後，霍光的小女兒霍成君就名正言順的成為了漢宣帝的第二任皇后。
公元前68年，霍光病逝。他的葬禮儀式極盡奢華，漢宣帝和上官皇太后都親臨葬禮現場。霍光墓中的隨葬品規格極高，許多都是皇室成員才可以使用的物品。即便如此，霍家子孫依然嫌葬禮不夠氣派，他們不僅大事鋪張，而且表現地傲慢無禮，在皇帝本人面前炫耀他們自以為掌握非常牢固的權力。
霍光死後，漢宣帝開始親政。他用升官的方法逐步削去了原本掌握在霍禹、霍山手中的軍權，然後又重用張安世、魏相等官員，用以制衡霍家。
公元前67年，已故皇后許平君所生之子劉奭被立為皇太子，這被視為打擊霍光家族勢力的重要一步。同時，皇帝依然用“溫水煮青蛙”的方式，逐漸削去了霍家子孫的爵位和權力，許多霍家親信都被調任到外地為官。
公元前66年，漢宣帝再次打算徹查許皇后的死因。霍家子孫開始真正感到驚慌，因為此事的前因後果都已經被大家所知曉，漢宣帝在這個時候重翻舊案，顯然就是準備對霍家出手了。霍家意識到唯一的生存機會就是謀反，於是打算鋌而走險。霍家手中最大的籌碼就是上官皇太后。她是霍光的外孫女，因此霍家子孫想讓皇太后頒佈詔書，宣稱皇帝地位不合法，以此將皇帝趕下臺去。這招當年在霍光廢黜昌邑王劉賀的時候就成功使用過。不過，這一次霍家卻沒有那麼走運了。謀反的消息遭洩露，霍家子孫或是被處決，或是選擇自殺，受此案牽連被誅殺的多達兩千家，連皇后霍成君也遭到廢黜。權傾朝野的霍光家族在彈指間灰飛煙滅。
