为充实长江下游的军事力量，拱卫首都建康和所有制上游桓氏势力东山再起，抵御前秦南下等，谢安打算成立新军。孝武帝太元二年（377）十月，朝廷任命谢安侄子谢玄为南兖州刺史，负责筹组新军。谢玄随即把南兖州的军事治理机关从京口（今江苏镇江市）移到广陵（今江苏扬州市），南徐、南兖两州侨户纷纷应征入伍。当时彭城（今江苏徐州市）刘牢之等数人以骁勇应选，谢玄任命刘牢之为参军，率领精锐作为前锋。因为晋朝百姓称京口为北京，所以当时人称这支军队为“北府兵”。太元四年（379）五月，前秦兵俱难、彭超部进攻淮南，并包围三阿。北府兵援救三阿，一战告捷，迫使前秦兵向北退逃。太元八年（383）淝水之战，北府兵更是表现神勇，成为击败前秦的中坚力量。北府兵的军事实力使它成为各政治集团争夺的对象，北府将领也成为左右东晋政局的重要力量。