过了两年，晋简文帝病重，留下遗诏由太子司马曜继承皇位。这就是晋孝武帝。桓温本来以为简文帝会把皇位让给他，听到这个消息十分失望，就带兵进了建康。

桓温到达建康那天，随身带的将士，都是全副盔甲，手里拿着明晃晃的武器。朝廷官员到路边去迎接时，看到这个情景，吓得变了脸色。

桓温请两个最有名望的士族大臣王坦之、谢安到他官邸去会见，王、谢两人早已听说桓温事前在客厅的背后埋伏一批武士，想杀掉他们。所以，王坦之到了相府，浑身出冷汗，连衣服都湿透了。

谢安却十分镇静。进了厅堂坐定之后，他对桓温说：“我听说自古以来，讲道义的大将，总是把兵马放在边境去防备外兵入侵。桓公为什么却把兵士藏在壁后呢？”

桓温听了，也有点不好意思，说：“我也是不能不防备点儿。”说着，就命令左右把后面埋伏好的兵撤去。

桓温看到建康的士族中反对他的势力还不小，不敢轻易动手。不久，就病死了。

桓温死后，谢安担任了宰相，桓温的弟弟桓冲担任荆州刺史，两人同心协力辅佐晋孝武帝，东晋王朝出现了团结的气氛。

陶侃平定了苏峻的叛乱以后，东晋王朝暂时获得了安定的局面。这时候，北边却乱了起来。后赵国主石虎（石勒儿子）死了以后，内部发生大乱，后赵大将冉闵称帝，建立了魏国，历史上称为冉魏；鲜卑族贵族慕容皝建立的前燕又灭了冉魏。公元３５２年，氏族贵族苻健也乘机占领了关中，建立了前秦。

后赵灭亡的时候，东晋的将军桓温向晋穆帝（东晋的第五个皇帝）上书，要求带兵北伐。桓温是个很有军事才能的人，他在当荆州刺史的时候，曾经进兵蜀地，灭掉了成汉，给东晋王朝立了大功。但是东晋王朝内部矛盾很大。晋穆帝表面上提升了桓温的职位，实际上又猜忌他。桓温要求北伐，晋穆帝没有同意，却另派了一个殷浩带兵北伐。殷浩是个只有虚名、没有军事才能的文人。他出兵到洛阳，被羌族人打得大败，死伤了一万多人马，连粮草武器也丢光了。桓温又上了道奏章，要求朝廷把殷浩撤职办罪。晋穆帝没办法，只好把殷浩撤了职，同意桓温带兵北伐。

公元３５４年，桓温统率晋军四万，从江陵出发，分兵三路，进攻长安。前秦国主苻健派兵五万在峣关抵抗，被晋军打得落花流水。苻健只好带了六千名老弱残兵，逃回长安，挖了深沟坚守。桓温胜利进军，到了灞上。长安附近的郡县官员纷纷向晋军投降。桓温发出告示，要百姓安居乐业。百姓欢天喜地，都牵了牛，备了酒，到军营慰劳。自从西晋灭亡以后，北方百姓受尽混战的痛苦。他们看到桓温的晋军，都高兴地流着眼泪说：“想不到今天还能够重新见到晋军。”