七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。旋拜大将军，领河内兵攻打宇文胄，破斩之。迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。
　　 北周大定元年(581年)二月，总揽北周大权的大丞相杨坚废周立隋，改元开皇，是为隋文帝，并加杨素上柱国。并参与了隋朝法律的修定。开皇四年(584 年)，拜御史大夫。由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”(《隋书·杨素列传》)。结果被其妻告发，杨素因此获罪，并被免官。
　　 此次经历，险些毁了杨素的前途。好在隋文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲著，再次献伐陈之策。开皇五年(585年)十月，杨素任信州总管，经略长江上游，并赐钱百万、锦千段、马二百匹而遣之。
　　 开皇七年(587年)，杨素、与尚书左仆射高颎、吴州总管贺若弼及光州刺史高劢、虢州刺史崔仲方等争献平陈之策。杨素在永安，(巴东郡，治今四川奉节东) 建造“五牙”(上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人)、“黄龙”等战船，加强水师，作灭陈准备。并故意在江中漂下造船废料，以威慑陈人。
　　 开皇八年(588年)三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶20条，并将诏书在江南散发30万份，以争取人心。十月，杨坚在寿春(今安徽寿县)设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军 51.8万，统由杨广节度，东至大海，西到巴、蜀，旌旗舟楫，横亘数千里。隋军自长江上游至下游分为8路攻陈，其中杨素指挥水军主力，出巴东郡，顺流东下，负责消灭长江及沿岸陈水陆军。十一月，杨坚至定城(今陕西华阴东)誓师，准备渡江的各路隋军进抵长江北岸，完成进攻准备。
　　 十二月上旬，杨素按隋灭陈作战部署，首先率舟师自巴东郡东下三峡，在长江上游发起攻势作战。军至流头滩(又名虎头滩，今湖北宜昌西北)，陈将戚昕率青龙战船百余艘、战士数千人坚守前方狼尾滩(今湖北宜昌西北长江中)，以遏隋军。狼尾滩地势险峭，水流湍急，易守难攻，诸将皆患之。杨素认为：“胜负大计，在此一举。若昼日下船，彼则见我，滩流迅激，制不由人，则吾失其便”(《隋书·杨素列传》)。于是决定采用水陆协同，分进合击的方针，乘夜突袭，将其击败。杨素率黄龙战船数千艘，利用夜暗，令将士衔枚开进，实施正面突破；令开府仪同三司王长袭率步兵由长江南岸攻击戚昕别栅；令大将军刘仁恩率甲骑自江陵(今属湖北)西进，沿长江北岸进击陈军白沙(今宜昌东)要点。隋军水陆配合，于次日拂晓，一举击败戚听所部。戚听逃走，部属全部被俘。杨素对俘虏不杀不辱，慰劳后全部释放。秋毫不犯，陈人大悦。此战，杨素恰当选择进攻时机，以水军突袭与两岸步、骑兵协同攻击，速战速决，取得首战胜利，为灭陈战争发展创造了有利条件。实行优待俘虏政策，有利于争取更多的陈军将士。