太元二年東晉朝廷任命桓衝的兒子桓嗣為江州刺史。任命五兵尚書王蘊都督江南諸軍事兼徐州刺史，任命征西司馬兼南郡相謝玄為兗州刺史兼廣陵相，監長江以北諸軍事。謝安保舉本身的侄子謝玄戍衛北方國土。謝安本身都督揚州、豫州、徐州、兗州、青州五州軍事，總管長江下流。桓衝為荊州刺史，防備荊襄地區；謝玄鎮廣陵，與謝安防備淮南地區。為了加強中心兵力，晉孝武帝令謝玄招募淮南江北百姓，在廣陵遴選良將，練習精兵，提拔了劉牢之等人，建立北府軍。