逃出洛阳的司徒傅祗、司空荀藩分别在河阴（今河南洛阳东北）和密县（今河南密县）建置了行台。与此同时，大将军苟晞、大司马王浚也在仓垣和幽州等地建立行台。他们各奉一位西晋皇室成员代表中央政府，布告天下。其中以荀藩奉立的秦王司马邺的行台影响较大，他们传檄四方，要求各地方镇出兵勤王。由于对司马睿的期望最大，遂推举司马睿为盟主。在司马越死后，怀帝曾重新对各方镇进行过任命，司马睿被委任为镇东大将军、兼督扬江湘广交五州诸军事的职务。司马睿对于西晋朝廷的重视不以为意，他的主要精力集中在经营江南方面，根本无心北顾。

由洛阳外流的官僚和士族以及中原地区的广大汉族人口，为逃避胡人的杀戮，除一部分以坞堡自守外，一部分北迁辽东、西亡凉州，余者皆纷纷南下。“是时，幽冀青并兖五州及徐州之淮北流民，相率过江淮”（《晋书·食货志》）。人口的南迁，往往是以一个大族为中心的集体迁徙，这些北方来的士庶侨民集团具有强大的势力。为了争取他们的支持，司马睿接受了王导的建议，大量吸收这些人参与政权。他先后委任了很多人担任内外主要官职，并使北方侨人士族在江南政权中明显地居于优势地位。同时，司马睿还在长江南北设置了许多侨置州郡县，安置流亡人口。对于北来侨民，为了照顾他们暂寓江左日后还乡的情绪，司马睿也没有把他们编入土著民户的永久性户籍——黄籍之中，而是专门为他们设置了一种临时户籍——白籍。白籍侨户受到优待，可以长期享受减免租税赋役的待遇。通过这些措施，司马睿比较快地取得了北方侨人士族的支持，并使他们成为自己政权的支柱。但是，司马睿的上述作法也带来了一定的恶果，它造成了江南地区郡县制度和户籍制度的混乱，并为大族侵吞人口提供了便利条件。

不过也有一部分南迁的北方大族名士对司马睿势力的孤弱表示失望。汝南大族周曾发牢骚地说：“我是因为中原地区不安定来此避难的，而这里如此单弱，怎么能保证安全呢！”为此，王导做了大量的拢络工作，逐渐稳固了他们的情绪。

扬州的西部地区属于江州，这是晋惠帝元康年间政府分割扬、荆十郡而设置的新州。司马睿的势力向西发展，必须要实现对江州的控制。而当时江州刺史华轶自认为受朝廷任命，不愿意服从司马睿以都督江州军事的名义所发布的命令，因此双方关系十分紧张。司马睿接受盟主的称号以后，没有理睬北方的求援，却对华轶加紧了行动。永嘉五年六月，他先把部将周访调至彭泽（今江西鄱阳湖北），对江州的治所豫章（今江西南昌市）构成军事压力，继而强令江州改易长吏。遭到华轶的拒绝后，司马睿命令扬州刺史王敦、历阳内史甘卓以及周访等人合兵攻打江州。由于下属的叛变，华轶兵败被杀。与此同时，司马睿还派兵赶走了豫州刺史裴宪，从而将势力范围接近了长江的中游地区。