霍去病是西漢歷史上的抗匈名將，而西漢權臣霍光則是霍去病同父異母的弟弟。霍去病一世英名，但他卻是一個私生子。霍去病的父親名叫霍仲孺，公元前141年前後，霍仲孺以縣中小吏身份被派到平陽侯家服役。在平陽侯府中，霍仲孺和侍女衛媼之女衛少兒私通生下霍去病，等他在平陽侯家的任務完成後，霍仲孺返回家中，另娶妻子生下霍光，與衛少兒再無來往。
霍去病功成名就以後，得知了自己的真實身世，在出擊匈奴的途中，霍去病派人請來霍仲孺，與其父子相認，並不計前嫌的替霍仲孺購買了大量的田地房屋和奴婢，讓父親和弟弟一家人衣食無憂。凱旋而歸時，霍去病再次拜訪父親，並將十多歲的異母弟弟霍光一起帶到長安照顧。霍光身高七尺三寸，皮膚白皙，眉目疏朗，鬍鬚很美，是當時有名的美男子。在霍去病的幫助下，霍光得到了良好的教育，他先任郎官，隨後遷任各曹官，侍中等。
霍去病死後，漢武帝厚待霍家人，霍光升任奉車都尉、光祿大夫等職位，侍奉漢武帝左右，前後出入宮禁二十多年，成為漢武帝的心腹重臣。漢武帝臨終前，把年僅8歲的幼子劉弗陵託付給霍光等人，囑咐他們好好輔佐小皇帝。劉弗陵也就是漢昭帝，他繼位為帝的時候年齡很小，無法親政，朝政便由霍光和其他託孤大臣共同處理。後來，霍光的外孫女上官氏年僅6歲便入宮當了皇后，霍家和上官家都成為了外戚，而且權勢滔天。
原本，霍光是極力反對讓上官氏入宮的，但上官一族為了更顯貴，避過霍光，轉而走了鄂邑長公主的門路，成功達到了目的。上官氏入宮以後，霍光見事情已經無法轉圜，便更加用心的輔佐漢昭帝，也希望漢昭帝能看在他的份上，好好對他的外孫女。上官氏與漢昭帝的婚姻和古代許多皇帝的婚姻一樣，都屬於政治聯姻。兩人成婚時都很年幼，哪有什麼愛啊，情啊。況且兩人婚後，上官一族勾結燕王劉旦，密謀叛亂，最後漢昭帝將上官滅了族，只因上官皇后乃是功臣霍光的外孫女，這才逃過一劫。
此事之後，漢昭帝更加冷落上官皇后了，但霍光卻希望上官皇后過得好一些，於是他就發明了一種叫“窮絝”的褲子，還命令宮女必須全都穿這種褲子，以防範昭帝跟宮女偶生曖昧。“窮絝”是一種有前後襠、繫帶很多的內褲，不方便解開。自打有了“窮絝”以後，漢昭帝日子過得更加清寡，21歲病逝時，一個孩子都沒留下！據說，窮絝是世界上最早的內褲，沒想到吧，它居然是霍光發明的。
