成吉思汗建立蒙古国，把所属部民按万户、千户、百户、十户为单位编制起来，各设长以统辖，各长都是世袭的贵族，这是一种军政合一的组织。攻下燕京以后，在燕京设行尚书省，由金朝降将行尚书省事，随着领土的扩大，曾“节制所及凡二十余道”。

忽必烈进入中原，建立元朝，为加强对地方的控制，以中书省分驻地方，称行中书省，以便直接处理政务。不久行省便成为固定行政区。

行省，即行中书省，或简称为省。元代除大都周围一带称为“腹里”，直属中央的中书省管辖，以及吐蕃和诸王封地由宣政院管辖之外，还在全国设立了河南、江浙、江西、湖广、陕西、四川、辽阳、甘肃、云南、岭北、征东等11个行省，以实现对“北逾阴山，西极流沙，东尽辽东，南越海表”，“有难以里数限者”的辽阔疆土的管辖。

行省“凡钱粮、兵甲、屯种”、漕运、军国重事，无不领之”。各省设有丞相、平章、左右丞、参知政事等为正副长官，又有郎中、员外郎、都事等分管省内各种事务。丞相，平章大多由蒙古亲王记当，权力极大，除中央直接任命的官吏以外，有权自选官吏。各省还没有行枢密院和行御史台分管军事和监察。行省的建立有效地防止了分裂，这是秦汉以来郡县制的一大发展，是我国省制的开端，在我国行政区划和地方政治制度史上占有很重要的地位。

行省之下设路、府、州、县。路统属于行省，设有总管府，设达鲁花赤、总管、同知、治中、判官等主要官员，还有学校、司狱司、织染局、东造局、录事司等分管各项专门事务的部门。府设置得不普遍，或统属于省，或统属于路，或直属于中央中书省。府设达鲁花赤、知府或府尹为主要长官，又有同知、判官、推官、知事、提控案犊等员分管各种具体事务。州设达鲁花赤、州尹或知州为主要长官，其他如府制。县设达鲁花赤、县尹、丞、簿、尉、典史等主要官员，典史专主刑狱。在比较重要和遥远的地方设巡检司，如浙江行省泉州路的澎湖巡检司，管辖澎湖、琉球（台湾）等地。县以下有乡都和村社，为地方基层组织，乡都置里正，村社设主首。

值得注意的是地方上的达鲁花赤制。达鲁花赤是蒙古语，意为镇压者、制裁者、掌印者，转而为监临官、总辖官之意。达鲁花赤主要由蒙古人充任，是各级地方政府最高行政兼监督长官，虽然他们往往不管实际事务，但由于他们是高踞于其他官员之上的特殊官员，有实际的监督权，因此在地方政务中起着重要的作用。