东晋太元八年(前秦建元十九年)(383年)，前秦出兵伐晋，於淝水交战，最终东晋仅以八万军力大胜八十多万前秦军。拥有绝对优势的前秦败给了东晋，国家也因此衰败灭亡，北方各民族纷纷脱离了前秦的统治，分裂为后秦和后燕为主的几个政权。而东晋则趁此北伐，把边界线推进到了黄河，并且此后数十年间东晋再无外族侵略。
天下苍生望谢安。淝水之战的巨大胜利，谢安的事先筹划功不可没。而且谢安从战前的“围棋赌墅”到战后的“小儿辈大破贼”，自始至终一直采取极为冷静的态度，对于稳定当时建康的人心起到了关键的作用。
统帅的指挥至关重要，参战的军队作战能力也是战争胜利的关键所在。在前线击败前秦近百万大军的东晋军队叫做北府兵。一支由南逃的北方农民组成的精锐之师，每个人都与五胡有血海深仇，每个人都把光复河山作为己任。这支军队有东晋最着名的战略家谢安，又有东晋最着名的将领刘牢之，可谓是精锐中的精锐。
太元二年(377)，朝廷因前秦强大，诏求文武良将镇御北方。朝廷拜谢玄建武将军、兖州刺史，领广陵相、监江北诸军事，镇广陵，召募劲勇，徐(治京口)、兖(治广陵)流民帅军队纷纷应募入伍。谢玄以刘牢之为参军，常领精锐为前锋，战无不捷。太元四年，谢玄加领徐州刺史，镇京口。东晋称京口为"北府"，所以称这支军队为北府兵。
北府兵的兵源主体是北来的流民，只要北方民族矛盾尖锐的存在，北来流民就会不断，反之则不然。其实东晋南朝的军队主力都是外来的，无论是北府兵，还是青徐豪强和雍州军。东晋南朝的名将大多都是北来的江淮人群和荆楚集团人员，真正的南方土著人员却不多。
八王之乱后，晋室南迁，呆在淮泗之间的豪强宗族，比如击楫中流的祖逖，就是呆在京口一带的豪强。大部分人都是经历战火成长的，意志力，战斗力自然强大，关键当时的豪强宗族南迁，都有各自小团体的头头，这些人稍微一整合，就是军队里的优秀将领，都是生死存亡间活下来的。桓温说：“京口酒可饮，箕可用，兵可使。
北府兵从谢玄开始组建，淝水之战击败前秦，而后有，刘牢之，刘裕，王镇恶，檀道济等。其中在刘裕北伐手中，战斗力发挥到最大化，所向无敌。王夫之在《读通鉴论》里，对此感慨：刘裕之功，烈于曹操！
淝水一战，八千“北府兵”大破秦军主力，击溃、歼灭前秦军七十万人，促使苻坚王朝崩溃。后来“北府兵”又收拾了桓玄“齐台”伪政权，镇压孙恩、卢循农民起义军，跟随刘裕杀到建康篡国称帝，影响了中国政治几十年。“北府兵”不仅具备强大战斗力，而且还具备对政局的强大影响力。
北府兵的军事实力使它成为各政治集团争夺的对象，北府将领也成为左右东晋政局的重要力量。“北府兵”有几个历史时期，从谢家整合开始，“北府兵”就成为名副其实的精锐部队。这支部队击退了强敌的侵略，保卫了家园，保卫了祖国；这支部队也成就了诸如刘牢之、刘裕等举足轻重的人物。谁控制了“北府兵”，谁就控制了江南政权。
元兴元年三月，刘牢之投降桓玄，被夺去兵权被迫自杀，北府兵为桓玄并吞，刘牢之子刘敬宣投奔南燕慕容德。北府兵根据地京口和广陵，分别由桓修和桓弘镇之，北府兵士众由诸桓分领，北府兵至此被瓦解。
从东晋太元二年北府兵建立，到太元十二年谢玄解除兵权，共十年。从太元十二年至元兴元年十五年时间，北府兵主要掌握在刘牢之手中。
元兴三年，刘裕在京口重组北府兵，但这不是北府兵的重建，而是一个新的王朝军队的肇始。