说到桓温与司马昱本是好友，但是在司马昱登基后，一切都发生了改变，桓温为了稳固自己的权利，希望司马昱是一个傀儡皇帝，这样自己便可以操控他，而桓温也确实这么做了，使得司马昱每天都提心吊胆，担心桓温哪一天会忍不住将自己灭口。
然而司马昱虽然性格软弱，但却也有自己的坚持，在桓温对他的控制之下，他都采取了"软抵抗"的方式来表达自己的抗衡，于是桓温也在司马昱身上吃到了不少暗亏。
司马家族因为有桓温的存在，也愈发的低调，就连司马昱的亲哥哥也因为桓温的缘故而被贬为了庶人。但是与其他家族相比，司马家族的待遇已经算是很不错的了。在当时的朝局中，有多个家族的势力，他们都阻碍到了桓温对于朝政的把控，于是桓温在思索之下便对他们动手了。
桓温没有动王家、谢家，原因有三：
一、这两个家族盘根错节，势力太大，并不好铲除，可能还会因此把自己搭进去；
二、好几个人做过桓温的幕僚，彼此之间的关系千丝万缕；
三、这两家一直保持中立的态度，因为对自己的威胁并不大。
也正是因为这些原因，让桓温没有对王、谢两家动手，但是其他家族可就没有这么幸运了。当时反对桓温的家族主要有殷家、庾家，于是桓温诬蔑说这两家和司马曦一伙，密谋造反。
殷家的家主是殷浩，殷浩去世时，桓温派人带上自己的信去吊唁。殷涓是殷浩唯一的儿子，他当然清楚父亲是桓温逼死的，而桓温的此番举动无疑是黄鼠狼给鸡拜年，没安好心。 因此，殷涓既不给桓温回信，也没有去拜谢桓温，态度相当冷淡。于是便彻底将桓温给惹怒了，匆匆审讯就把他家满门抄斩，一个不留。
于是殷家就这样被被桓温给铲除了，接着就开始收拾庾家。
庾家的家主是庾亮，但他的子孙们能力都不足，根本就不值得多费什么心思；但他的弟弟庾冰，有7个儿子，都有一定的能力。而此时的庾家看到殷家有此结局，都已看出风头不对，怕是要大祸临头了，于是他们先是逃亡，接着组织地方武装力量抵抗，但统统被杀。
整个庾氏家族只有两支逃过了灭门之祸，一是任广州刺史的庾蕴，因为他服毒自杀，保住了儿子们的命。另一个是东阳太守庾友，因为他与桓温的弟弟桓豁是儿女亲家，也因此保住了一家老小的命。
