明初的中书省组织庞大，职权很重，这一部门远承古代的宰相（丞相）制度，近袭元朝中书省“录军国重事”的旧制。省内设左、右相国（后改为丞相）为长官，还设有平章政事、左右丞、参知政事等高级官僚，以及作为职能办事人员的左右司郎中、员外郎、中书舍人等等。吏、户、礼、兵、刑、工六部仅是中书省下属的机构，六部的领导人尚书、侍郎等不过是丞相的属员。当时的中书省不但有“综理机务”的职权，而且全国各级各部门给皇帝上的奏报，也规定要“先白中书省”，一切以皇帝名义发出的诏令谕旨，也经中书省再下达，俨然是设置在皇帝和国家机关中间的一级权力部门，是必要的中转站。任丞相的人更是仅处在皇帝一人之下，高踞于百官之上的权要，明初最早任李善长，徐达二人为左右相国（丞相），李是文臣之首，徐是军队之帅，其余担任过丞相职务的李文忠、汪广洋、胡惟庸等人，也全是勋贵之臣，这更说明中书省的位尊权重。应该说，设置中书省这样的部门并授予如此重权，不仅是与中国封建社会政治制度近2000年来不断压抑相权以尊君权，不断防范和限制臣权有任何侵犯君权的发展趋势相抵牾的，而且也不符合封建社会晚期高度君主专制统治的需要，更是为全力独揽大权的明太祖朱元璋所不能接受的。据历史记载，胡惟庸任丞相时，“专生杀黜陟，以恣威福。内外诸司封事入奏，惟庸先取视之，有病己者辄匿不闻。由是奔竞之徒，趋其门下”。洪武十二年（公元1380年），朱元璋以“谋反”的罪名杀了胡惟庸，并宣布对中央朝廷的官制作大幅度的改变。

其实，胡惟庸案不过是一个偶发的事件，说胡惟庸通谋日本和蒙古进行叛变是缺乏可信证据的。问题的实质在于，朱元璋对于中书省在自己执行皇权时造成掣时和潜在的威胁，早就高度不满和戒备。再加上，胡惟庸恃功骄纵，跋扈揽权，更促使矛盾激化，朱元璋终于作了断然处置。在此之前，朱元璋就曾几度要削减中书省的权力，取消胡惟庸等以丞相身份通过中书省对各级国家机关的控制，如在洪武十一年（公元1378年）三月下旨，“令奏事毋关白中书省”，明显的意图是要限制中书省的职权，但这还不能从制度上根本解决问题，矛盾仍然相继出现，最终撤销