隋文帝加紧灭陈准备。继续推行均田制和租调力役制，在中央建立三省六部制，在地方推行州、县制，改革府兵制等措施，以利于发展社会经济，加强中央集权，提高军队战斗力。又经过几年励精图治，国力、军力显著增强。七年，杨坚君臣多次谋议灭陈之策，决定采纳高颎、虢州刺史崔仲方等人的建议，根据长江地理形势与陈军分散守备之特点，实行多路进兵而置重点于长江下游的部署；在战前多方误敌、疲敌，破坏其物资储备，欲乘敌疲惫懈怠之机，然后突然渡江，东西呼应，一举突破取胜；在长江上游大造战船，加强水师；向江南大量散发诏书，揭露陈后主之罪，以争取人心。
　　
　　八年十月，隋文帝在寿春(今安徽寿县)置淮南道行台省，以晋王杨广为行台尚书令，主管灭陈之事。命杨广、山南道行台尚书令杨俊、清河公杨素为行军元帅，高颖为晋王元帅长史，右仆射王韶为司马，集中51.8万人的水陆军，统由杨广节度，从长江上游至下游，分8路攻陈。十二月，隋军发起攻灭陈朝的大规模作战。杨素率舟师出巴东郡(治今四川奉节东)顺江东下，与荆州刺史刘仁恩军相配合，一举袭占狼尾滩(今湖北宜昌西北)，继而攻克岐亭、延洲(今长江西陵峡口、湖北枝江附近江中)，击破上游陈军防御。由公安(今湖北公安西北)东撤之陈军也被杨俊军阻于汉口(今湖北汉水入长江之口)以西，为下游隋军主力进攻陈都建康(今南京)，创造了有利形势。
　　
　　九年正月，下游隋军主力乘陈朝欢度元会(即春节)之机，分路渡江。行军总管韩擒虎、贺若弼两军配合钳击建康，至行军总管宇文述军占据石头(今南京城西清凉山)，隋军主力已完成对建康的包围。随后，贺若弼军与陈军主力激战于白土冈(今南京城东)，陈军全线溃退。韩擒虎军首先进入建康城，俘陈叔宝。杨广入城后，令陈叔宝以手书招降上游陈军。吴州(治吴县，今江苏苏州)、湘州(治今长沙)等地陈将拒降，二月间均为隋军击破。岭南数郡共奉高凉(今广东阳江西)冼夫人为主，保境拒守。隋派使臣安抚岭南，杨广亦命陈叔宝致书冼夫人，劝其归隋。冼夫人以其孙率众迎接隋使，岭南诸州悉为隋地。至此，结束了东晋以来270余年南北分裂的局面，完成了隋文帝统一南北的大业。
　　
　　隋灭陈后，在江南地方推行抑制士族豪强的政策，引起士族豪强势力不满。他们利用隋欲移民关中的流言，乘机煽动民众叛隋。十年十一月，婺州(治金华，今属浙江)汪文进、越州(治会稽，今浙江绍兴高智慧、苏州沈玄侩等；均举兵叛隋，并自称天子。乐安(今浙江仙居)蔡道人、温州沈孝彻、泉州(治今福州)王国庆等，亦自称大都督，起兵响应，杀官吏，攻州县，致使原陈故地多数皆反。隋文帝遂命内史令杨素为行军总管领兵攻讨。杨素率水陆军，分路进击，逐个歼灭，至次年春，所有叛军均被消灭，江南遂安。