明初中央国家机关的设置，基本上仍然是沿袭起义时期的组织体系。在中央朝廷，设置中书省、都督府、御史台等三大机关系统，保留了三大府分理行政、军事、监察事务的制度。三大府在主管工作范围内拥有较独立的职权，其中尤以中书省的权力最重，它直接领导从原来的钱谷、礼仪、刑名、营造四部发展而来的吏、户、礼、兵、刑、工六部，以及其他中央和地方的行政部门，“总揽政事”。都督府也掌有较集中的军事指挥权。在地方上，也保留了设立行中书省、行都督府、提刑按察司，而由行中书省统一指挥全省军政监察司法事务的办法，权力也较集中。

形成这样的国家机关体制并不是偶然的。第一，起义期间，朱元璋集团及其掌握的政权组织斗争的主要对象只是元王朝和其他实力集团，在机关的设置和活动上首要的是服从于赢得战争的胜利。在最早阶段，朱元璋设江南行中书省，自总省事，所以当时的江南行中书省实际上是由朱自任首长，一切权力紧紧掌握在自己手里。其后，随着占领地区的不断扩张，在当时斗争激烈的情况下，分给某些带兵将领或地方官以较大的军政权力是无可避免的。第二，在当时的形势下，起义集团还来不及建立长期性的完备的国家机关体系，在职、权、责备方面也来不及精确地划分，在很大程度上还只能仿效元朝及其他朝代的旧制度，不得不采取了许多权宜性的措施。即使如此，我们也必须承认，这套政权机关在推翻元王朝反动统治缔造明王朝，促进当时中国的统一和繁荣等方面，还是有过巨大贡献的，’白是其后明王朝规模巨大的国家机器的基础。

但是，当明王朝已经建立井初步巩固以后，这套组织形式就显得愈来愈与高度中央集权的政治制度相矛盾了。在中央朝廷之内，中书省和都督府等部门拥有较独立的军政大权，易于形成权臣专擅，是和大力推行君主集权政治直接抵触的。在中央和地方机关的关系上，地方机关独当一面的状况也易于形成尾大不掉，阻碍统一集中。朱元璋继承和发展了中国封建社会历代最高统治者的治国秘诀之一，即在国家体制上极力做到中央权重，地方权轻；君主集权，臣僚分权；君主有掌握一切重大决策，亲自驾驭国家机器运转的权力，而各机关部门的职权则必须做到互相制约和监督。因此，明初对国家机关的设置和职权的划分进行较全面的变革和调整，就成为无可避免的了，而首当其冲的，当然是对中央辅政机关的改组。