11月，谢玄派谴勇将刘牢之率精兵5千奔袭洛涧，揭开了淝水大战的序幕。秦将梁成率部5万在洛涧边上列阵迎击。刘牢之分兵一部迂回到秦军阵后，断其归路；自己率兵强渡洛水，猛攻秦阵。秦军惊慌失措，勉强抵挡一阵，就土崩瓦解，主将梁成和其弟梁云战死，官兵争先恐后渡过淮河逃命，1.5万余人丧生。洛涧大捷，极大鼓舞了晋军的士气。谢石挥军水陆并进，直抵淝水（今淝河，在安徽寿县南）东岸，在八公山边扎下大营，与寿阳的秦军隔岸对峙。苻坚站在寿阳城楼上，一眼望去，只见对岸晋军布阵整齐，将士精锐。连八公山上的草木，他也感到类似人形，误认为是晋兵，颇为惊慌，对苻融说：“此亦劲敌，何谓弱也？”这就是著名的典故“草木皆兵”的来历。

由于秦军紧逼淝水西岸布阵，晋军无法渡河，只能隔岸对峙。谢玄就派使者去见苻融，用激将法对他说：“君悬军深入，而置阵逼水，此乃持久之计，非欲速战者也。若移阵少却，使晋兵得渡，以决胜负，不亦善乎？”秦军诸将都表示反对，但苻坚认为可以将计就计，让军队稍向后退，待晋军半渡过河时，再以骑兵冲杀，这样就可以取得胜利。苻融对苻坚的计划也表示赞同，于是就答应了谢玄的要求，指挥秦军后撤。但秦兵士气低落，结果一后撤就失去控制，阵势大乱。谢玄率领8千多骑兵，趁势抢渡淝水，向秦军猛攻。朱序则在秦军阵后大叫：“秦兵败矣！秦兵败矣！”秦兵信以为真，于是转身竞相奔逃。苻融眼见大势不妙，急忙骑马前去阻止，以图稳住阵脚，不料战马被乱兵冲倒，被晋军追兵杀死。失去主将的秦兵越发混乱，彻底崩溃。前锋的溃败，引起后续部队的惊恐，也随之溃逃，行成连锁反应，结果全军溃逃，向北败退。秦军溃兵沿途不敢停留，听到风声鹤唳，都以为是晋军追来（这就是著名典故“风声鹤唳”的来历）。晋军乘胜追击，一直到达寿阳附近的青冈。秦兵人马相踏而死的，满山遍野，充塞大河。苻坚本人也中箭负伤，单枪匹马逃回烙阳。

晋军收复寿阳，谢石和谢玄派飞马往建康报捷。当时谢安正跟客人在家下棋。他看完了谢石送来的捷报，不露声色，随手把捷报放在旁边，照样下棋。客人知道是前方送来的战报，忍不住问谢安：“战况怎样？”谢安慢吞吞地说：“孩子们到底把秦人打败了。”客人听了，高兴得不想再下棋，想赶快把这个好消息告诉别人，就告别走了。谢安送走客人，回到内宅去，他的兴奋心情再也按捺不住，跨过门槛的时候，踉踉跄跄的，把脚上的木屐的齿也碰断了。这是著名的典故“折屐齿”的来历。

淝水之战，前秦军被歼和逃散的共有70多万。唯有鲜卑慕容垂部的3万人马尚完整无损。苻坚统一南北的希望彻底破灭，不仅如此，北方暂时统一的局面也随之解体，再次分裂成更多的地方民族政权，鲜卑族的慕容垂和羌族的姚苌等他族贵族重新崛起，各自建立了新的国家，苻坚本人也在两年后被姚苌俘杀，前秦随之灭亡。此战的胜利者东晋王朝虽无力恢复全中国的统治权，但却有效地遏制了北方少数民族的南下侵扰，为江南地区社会经济的恢复和发展创造了条件。