陈友谅败退后，占据朱元璋地盘的上游，精兵大舰，雄心勃勃，想要灭掉朱元璋，称霸天下。
至正二十年，公元1360年五月，陈友谅率水军数十万，直取应天！
朱元璋以弱御强，便设计用伏，诱敌深入，常遇春奉命与冯国胜率帐前五翼军三万人设伏，为全军主力。
在龙湾登陆的陈友谅兵，遭到常遇春、冯国胜伏兵的冲杀，死伤惨重，溃不成军。
这时，正值江水落潮，龙湾水浅，陈友谅一百多艘巨舰全部搁浅。
朱元璋挥水陆军并进，陈友谅大败而逃。
龙湾大捷，朱元璋转危为安，并壮大了力量。
常遇春大破敌阵，战功卓著，不久，升行省参知政事。
龙湾战后的第三年，公元1363年，陈友谅以号称六十万大军倾巢来攻，在鄱阳湖与朱元璋军进行了一场持续三十六天的决定生死存亡的水上大决战。
朱元璋先是派兵封锁敌人的归路，交战中，陈友谅军船大、坚固，但速度慢，朱元璋军船小、速度快，操作灵活，两军相持，难解难分。
一次朱元璋座船搁浅，陈友谅的大将张定边率船队来围攻，情况危急。
常遇春见了，奋勇当先，射伤张定边，又用自己的战船撞击朱元璋的座船，使其脱离浅滩。
在战斗中，常遇春奉命积极组织火攻，发挥小船优势，乘风纵火，陈友谅的舰队被烧得烈焰冲天，兵将损失过半，湖水尽赤。
陈友谅率残舰撤往湖口，又受到朱元璋诸将的追击和常遇春的迎头堵截。
陈友谅在混战中被流矢射中死去。
这场决战扭转了双方力量的对比，陈友谅覆灭，使朱元璋成为群雄中之强者。
常遇春因功受赏，得金帛田地甚厚。不久，升为平章政事。
朱元璋夸赞常遇春说：“当百万众， 摧锋陷坚，莫如副将军。”
常遇春接下来的战功，就去：攻取张士诚与元大都！
至正二十四年，公元1364年七月，常遇春先是随徐达率军攻占庐州。接着，又与邓愈会合征服江西的新淦、吉安、 赣州、南安等郡县，岭南韶州、南雄等地望风降附。
第二年五月，常遇春又奉命与邓愈率军攻取湖北的安陆、襄阳；十一月与徐达率军攻占了泰州。
至正二十六年，公元1366年八月，朱元璋以徐达为大将军，常遇春为副将军，率兵二十万东征张士诚。
按照朱元璋的部署，徐达、常遇春的军队先攻取了湖州和杭州等地，翦除了张士诚的羽翼，平江孤立无援，经过长达十个月的围攻，平江城破，张士诚败死。
常遇春以功进封为鄂国公。
至正二十七年，公元1367年十月，朱元璋以徐达为征虏大将军，常遇春为征虏副将军，率二十五万大军出师北伐。
这时，北方元朝军事力量已经大大削弱，所以，徐达、常遇春出师三个多月，即平定山东。
洪武元年四月，明军在洛阳的塔儿湾与元军遭遇，常遇春单骑突入敌阵，麾下壮士从之，勇猛冲杀，在洛水之北击溃元军五万，俘获无数，史称塔儿湾大捷。