大象二年，公元580年五月十一日，北周宣帝宇文赟病死。
周静帝宇文衍年幼，左丞相杨坚专政。
杨素知杨坚甚得众心，且有称帝之意，当下主动投到杨坚门下，与杨坚深自结纳。
杨坚也知杨素之才，对他也非常器重。不久，便以杨素为汴州刺史。
不久，尉迟迥等举兵反杨坚，杨素被拜为大将军，领河内兵攻打宇文胄，并将其斩杀。
公元581年二月，杨坚受禅登基，加杨素上柱国。
三年后，拜为御史大夫。
也就在他要依附杨坚，再次行运一条龙的时候，霉运又出现了！
杨素的霉运，就出现在他的老婆郑氏的身上。
这个郑氏是个悍妇，杨素有一次与她吵架，说了一句：“我如果当了天子，你一定不能做皇后！”
无论古代，还是现代，说话从来都是一件要慎重的事情，因为，祸从口出！
杨素说这话的结果，很有可能株连九族了！
他的老婆将他告发了！
真是防来防去老婆最难防！
杨坚听了郑氏之言后，登时大怒！因为，这触动到了他的敏感之处！他决不允许有人打皇帝位置的主意！当下将杨素免官！
杨素经此危难，险些毁了前途。
不过，他有一点，使得没有就此毁掉仕途，那就是，他是个有价值的人！尤其是隋朝想灭掉陈朝，就不得不用杨素！
由此可知，一个人 ，一定要有价值，不然，犯了错，就再也没有翻身的机会！有价值则不然，就算犯了错，上司看在你有价值的份上，还是会放你一马。
杨坚一直准备着灭亡陈朝，统一中国，而杨素又曾数次献伐陈之策，所以，这次被免官后，杨坚允许杨素上伐陈之策。
杨素为了救自己，再没计策，挖空心思，也要想出计策！
他苦搜枯肠，终于想出计策，再次上书皇帝！
杨坚看了之后，很是赞赏，便把杨素放了出来了。
公元585年十月，杨素再次时来运转，便任命为信州总管，经略长江上游，朝廷赐钱百万、锦千段、马二百匹。
两年后，杨素与尚书左仆射高颎、吴州总管贺若弼、光州刺史高劢、虢州刺史崔仲方等人献平陈之策。
杨素在永安建造“五牙”（上起楼五层，高百余尺；左右前后置六拍竿，并高五十尺，容战士八百人）、“黄龙”等战船，加强水师，作灭陈准备，并故意在江中漂下造船废料，以威慑擅长水战的陈-军。
公元588年三月，隋文帝下诏，列举陈后主罪行又送玺书暴其罪恶二十条，并将诏书在江南散发三十万份，以争取人心。十月，杨坚在寿春设淮南行台省，以晋王杨广为行台尚书令，主管灭陈之事。杨素与杨广、秦王杨俊并为行军元帅，高颎为晋王元帅长史，右仆射王韶为司马，集中水陆军五十一万八千人，统由杨广统帅，东至大海，西到巴、蜀，旌旗舟楫，横亘数千里。隋军自长江上游至下游分为8路攻陈，其中杨素指挥水军主力，出巴东郡，顺流东下，负责消灭长江及沿岸陈水陆军。