1368年，朱元璋在應天府（今南京）稱帝，改元洪武，定國號為明。開國之初，天下尚未平定，明朝中央政府的輔政機構依然沿襲元朝制度，設立中書省，總理天下政務。
中書省機構龐大，設有左右丞相為長官，還有平章政事、左右丞、參知政事等高級官員，以下有左右司郎中、員外郎、中書舍人等屬官。
當時全國各地的奏章要先在中書省彙集整理，然後按照事情的大小、緩急、輕重，呈送皇帝批閱。皇帝下達給文武百官的詔令諭旨，也要經過中書省轉達給各個部門和地方，吏、戶、禮、兵、刑、工六部僅是中書省下屬的機構，六部的領導人尚書、侍郎等不過是丞相的屬員。
明初出任丞相的人都是隨同朱元璋打天下的功臣勳戚故舊，如李善長、徐達、李文忠、汪廣洋、胡惟庸等。李善長胸藏韜略，足智多謀；徐達是百戰名將，為明朝的建立立下了汗馬功勞；李文忠是朱元璋的外甥，19歲為將，驍勇善戰，為朱氏王朝出過死力；
胡惟庸早年追隨朱元璋起兵，頗受重用。這批開國人物出任要職，地位顯赫，必然會對皇權造成侵奪。朱元璋起自民間，艱辛備嘗，洞察世情，具有豐富的政治鬥爭經驗和極強的權力慾，皇權和相權的衝突不可避免，最終導致了"胡惟庸獄"的爆發。
胡惟庸（？～1380），鳳陽府定遠縣（今屬安徽）人。早年隨朱元璋起兵，頗受寵信。歷任元帥府奏差、寧國知縣、吉安通判、太常少卿等職。洪武三年，拜中書省參知政事。
洪武六年七月，任右丞相，不久擠走了另一個丞相汪廣洋，獨攬丞相大權，洪武十年官至丞相，位居百官之首。隨著權勢的不斷增大，胡惟庸日益驕橫跋扈，擅自決定官員人等的生死升降，先閱內外諸司奏章，對己不利者，輒藏匿不上報。
他貪汙受賄，排擠任何不服從他的人，甚至敢於挑戰朱元璋的權力，私自截留下屬的奏章，官員升降、處決犯人，都不經過朱元璋的批准。各地喜好鑽營熱衷仕進之徒，爭走其門，饋送金帛、名馬、玩好不可勝數。學士吳伯宗曾因彈劾他而險遭大禍。
胡惟庸還千方百計地拉攏因犯法受朱元璋譴責的吉安侯陸仲亨、平涼侯費聚，令其在外收集軍馬，以圖謀反。
此外，他還勾結中丞塗節、御史大夫陳寧等，令陳寧坐中書省閱天下兵馬籍。這一切引起朱元璋的極大注意。朱元璋對丞相胡惟庸專權擅政、結黨營私、驕橫跋扈的舉動極為不滿，深感臣下權力太大，會導致元末"宰相專權"、"臣操威福"的局面重演，開始對中書省權力機構進行改革，採取種種方式對其制約。
洪武八年裁撤了平章政事和參知政事，次年又把中書省唯一的右丞丁玉調出來，另行安排職務，使中書省只剩下左右丞相。朱元璋的政治意圖很明顯，就是架空中書省。洪武十一年（1378），又令六部奏事不得稟告中書省，並且向朝廷大臣說："胡元之世，朝政由中書省把持，奏章必先匯到中書省，然後才奏聞聖上。
元朝君主又昏庸闇弱，以致民情不達，導致大亂四起，應該以之為訓，諸位臣子以後奏事不必經過中書省。"進一步削弱了中書省權力。
洪武十三年（1380）正月，有人上書告發胡惟庸謀反，朱元淳遂以"枉法誣賢"、"蠹害政治"等罪名，將胡惟庸和他的死黨塗節、陳寧等處死。
胡惟庸案前後延續達十年之久，無數公侯被牽扯進去，受株連至死或已死而追奪爵位的開國功臣有李善長、南雄侯趙庸、滎陽侯鄭遇春、永嘉侯朱亮祖、靖寧侯葉踦等一公、廿一侯，牽連的文武百官及其家眷共七萬多人，最後連維持國家運轉的大臣都湊不齊，以致要臨時徵召。
而被徵召之人居然要買好棺材，和家人話別後才去上任。胡惟庸被殺後，朱元璋以《昭示奸黨錄》佈告天下，歷數丞相罪狀，進行政治輿論動員，然後罷除丞相，裁革中書省，並留下祖訓，諄諄告誡後代子孫："自古以來，三公坐而論道，調和陰陽，政事由六卿來處理，從來沒有聽說設丞相的。
從秦朝以來才設丞相，然而秦旋踵而亡。漢、唐、宋、元雖設丞相，然而其間常有小人執權亂政。現在我朝罷設丞相一職，設五府、六部、都察院、通政司、大理寺等衙門，分理天下政務，大權一歸朝廷，立法至為完善。
以後歷代皇帝不得再設丞相，大臣膽敢以此上奏請求者，一律重加治罪，絕不寬恕。"丞相廢除後，其事由六部分理，皇帝擁有至高無上的權力，中央集權得到進一步加強。這樣朱元璋就廢除了歷時一千多年之久的丞相制度和七百多年之久的中書、門下、尚書三省制度，將軍政大權攬於一身，將自秦漢以來的中央集權政治推向巔峰。
從秦始皇統一中國以來，"建皇帝之號，立百官之職"，皇帝作為人主，擁有至高無上的權威，但是又需要通過朝廷百官來實現對天下萬民的治理。由於官員眾多，政務繁雜，就需要有一個百官之長來輔助管理，佐治政務，這就是作為行政長官之首的丞相。丞相由於綜治政務，事權很重，素有"一人之下，萬人之上"的說法，皇權和相權之間時常發生侵越現象，如西漢初期的丞相都比較強勢，申屠嘉、周亞夫常常使皇帝"默然而沮"，這顯然不利於皇權的行使。到漢武帝時期，為了牽制丞相，有了內朝官和外朝官之分，大權開始向皇帝身邊的人靠攏，丞相作為外朝官，地位逐漸下降。
到三國兩晉南北朝時期，中央政務機構一分為三，宰相職務由數位朝臣分別把持，目的是讓他們互相牽制，不能專一事權。
但是三省長官的權力不均衡，有時尚書令權鎮朝野，有時中書令總握朝綱。宋朝實行兩府三司的宰相體制，雖然加強了君主的權力，但也造成了機構重疊臃腫，辦事效率低下的弊端，不利於國家政務的及時處理。宋朝中葉後，三省之政合一，出現了真宰相，這是由於當時險惡的軍事形勢所致。
終元之世，中書省獨掌大權，宰相權力膨脹如初，甚至可以左右皇帝的廢立，這一點尤為朱元璋所警覺，因此說，胡惟庸案早晚是要發生的，只不過這次皇權和相權的矛盾是通過流血完成的。
這個政治大變動實質上是皇權兼併了相權，皇帝君臨天下政務，直接親自處理和裁決國家大事，拿出意見，發出諭旨，然而交給具體的政務執行機構執行。
然而一個皇帝無論他多麼勤政，多麼精力充沛，也無法事必親躬，無法駕馭一個龐大國家機器的正常運轉。以洪武十七年（1384）為例，這時胡惟庸已經死去四年，從9月14日到21日，僅僅8天時間，朱元璋面前就擺滿了亟待處理的重要事件3391件，還有各地向皇帝請示的奏章1660份，換言之，他每天要看奏章209個，處理政事424件，這顯然超出了他個人的精力極限，朱元璋不得不承認"人主以一身統御天下，不可無輔臣"，於是就有了內閣的出現。
