常遇春是真正習武出身，“貌奇偉，勇力絕人，猿臂善射”(《明史·常遇春傳》)，只因家貧生計艱難，加之社會動蕩，盜賊出沒，逼迫常遇春投靠綠林大盜劉聚。

劉聚攔路搶掠，入宅為盜，常遇春雖能吃肉喝酒，但這不是他想要的。他得另謀出路。

至正十五年(1355年)四月，常遇春遇上朱元璋率軍攻打和陽，見其視士卒如弟兄、部隊不害百姓，決定投奔朱元璋。

常遇春自請為前鋒，力戰克敵，自言能將十萬眾，橫行天下，軍中稱常十萬。當初，朱元璋還是以為是一個食客，幾仗下來，常遇春用實力說話，而且很仗義，讓朱元璋“益愛重遇春”。

常遇春是一個天生的先鋒大將，與元帥徐達相得益彰，各顯身手。“是時稱名將，必推達、遇春。兩人才勇相類，皆太祖所倚重。遇春剽疾敢深入。”(《明史·徐達傳》)

常遇春“雖不習書史，用兵輒與古合”。至正十九年七月，常遇春進兵攻衢州，一路殺將而來。衢州城垣，壁壘森嚴，固若金湯。常遇春率部從陸上、水上將六座城門團團圍住，又造呂公車、仙人橋、長木梯、懶龍爪等攻城軍械，“擁至城下，高與云齊，欲階以登城”，又在大西門城下“穴地道攻之”。守城元將伯顏不花的斤憑借堅固的城垣，“以束葦灌油燒呂公車，駕千斤秤鉤懶龍爪，用長斧砍木梯，筑夾城防穴道”，雙方交戰激烈，常遇春久攻不克。后來，常遇春以奇兵出其不意地突入，毀其所架之炮，攻圍甚急。元軍支持不住，遣使密約投降。

至正二十年五月，陳友諒率水軍數十萬直取應天，在龍灣登陸，常遇春奉命與馮勝率帳前五翼軍三萬人設伏、沖殺，陳友諒的漢軍死傷慘重，潰不成軍，大敗而逃。此戰，常遇春功勞最大，與平章邵榮、右丞徐達是朱元璋“所任將帥最著者”。

三年后，呂珍奉張士誠命，率軍突襲安豐，破城，殺死紅巾軍大將劉福通，占據安豐。朱元璋率軍攻打安豐，呂珍掘溝樹柵，加固城防，水陸連營，做好作戰準備，朱元璋“左右軍皆敗”，而常遇春橫向沖擊吳軍方陣，“三戰三破之，俘獲士馬無算”。

陳友諒以號稱六十萬大軍傾巢來攻，在鄱陽湖與朱元璋軍血拼。常遇春奮勇當先，射傷陳友諒的驍將張定邊;又組織火攻，發揮小船優勢，把陳友諒的艦隊被燒得烈焰沖天，兵將損失過半，徹底覆滅陳友諒。

后來常遇春為副將軍，與徐達對張士誠作戰，順利制勝。平吳歸來，常遇春進中書平章軍國重事，封鄂國公。隨后，徐、常二人奉命帥軍北征，屢建奇功。元軍五萬擺陣在洛水之北，常遇春單騎突入敵陣，麾下壯士從之，勇猛沖殺，在洛水之北擊潰元軍，俘獲無算，“降梁王阿魯溫”，史稱塔兒灣大捷。

常遇春北征前，朱元璋囑咐：“當百萬眾，摧鋒陷堅，莫如副將軍。不慮不能戰，慮輕戰耳。身為大將，顧好與小校角，甚非所望也。”

洪武元年閏七月，徐達、常遇春率馬步舟師由臨清沿運河北上，連下德州、通州。元順帝攜后妃、太子等逃奔上都開平。八月二日，徐達、常遇春一舉攻占大都，改為北平府。稍事休整，即又揮師西進，與精銳的擴廓帖木兒軍進行了艱苦的搏戰，平定山西、陜西。

元順帝乘明軍主力長驅晉、秦之機，命丞相也速率軍向北平反撲，兵鋒已抵通州。常遇春與李文忠率步卒八萬、騎士一萬馳救北平，元軍聞訊即向北逃奔，常遇春率軍追奔千里，大獲全勝。

為了覆其巢穴，最終解除元軍對北平的威脅，常遇春又率軍徑取元上都開平，俘獲以宗王慶生和平章鼎住為首的萬名留守元軍，繳獲車萬輛、馬三千匹、牛五萬頭。后來，朱元璋追封常遇春為開平王，意義在此。

清初史學家萬斯同的《明史稿》中說：“遇春沉鷙果敢，出則摧鋒，入則殿后，未嘗敗北。”后來，大學士張廷玉總裁的《明史·常遇春傳》也說：“遇春沉鷙果敢，善撫士卒，摧鋒陷陣，未嘗敗北。”

洪武二年七月七日，常遇春自開平班師南歸，行至柳河川，得暴病卒于軍中，年僅四十歲。朱元璋“聞之，大震悼，親出奠”，以親王發哀禮，賜葬鐘山之下。

朱元璋追封常遇春為翊運推誠宣德靖遠功臣、開府儀同三司、上柱國、太保、中書右丞相，追封開平王，謚曰忠武。“配享太廟，肖像功臣廟，位皆第二。”朱元璋令宮廷畫師為常遇春繪制身穿龍袍的全身像，五爪金龍，此袍只能是帝王專用。

此等殊榮該是當時頂級待遇，獨一無二。《明史》贊曰：“開平摧鋒陷陣，所向必克，其智勇不在中山下，而公忠謙遜，善持其功名，永為元勛之冠。身衣日月剖符錫土若王者，可謂極盛矣！”

洪武三年，朱元璋大封功臣，常遇春長子常茂因父蔭，受封鄭國公，與李善長、徐達、李文忠、馮勝、鄧愈同為開國六大國公，位列第三。洪武四年，朱元璋詔令皇太子朱標與常遇春長女常氏成婚，常氏被封為太子妃，更顯朱元璋對常遇春的懷念和對其家眷的厚待。