在1934年國民政府的閱兵大典上，有一支神奇的部隊突然走過了各國公使的視線，這是一支大約有4000人的隊伍，卻是完全的德國軍隊裝束，配備的也是當時最先進的德國全自動式沖鋒槍。凡是稍微有一點軍事常識的人都可以看出，這是一支具有極強戰斗力的部隊。當這支部隊向委員長致意的時候，據當時的國民政府秘書邵則明多年后回憶：“當時，英國大使面容驚愕，日本大使面色蒼白，德國大使微笑著對法國大使說，這是我們德國人訓練出的軍隊。美國大使嘆服地說，這是中國兩支最好的部隊之一，德國大使不服氣地反問，在中國還有哪一支部隊可以與他們抗衡？美國大使感慨地說，只有一支，那就是成吉思汗的部隊。”

這支神秘的部隊，就是南京國民政府自1927年起傾盡國力秘密組建，并于1933年邀請納粹德國特種部隊教官進行訓練而成的王牌特種部隊——委員長特別衛隊，其代號為中國憲兵！

據日本女間諜川島芳子于1946年交代，1934年國民政府國慶閱兵后僅30分鐘，日本情報機關就接到了土肥原從南京發來的密電，上面只有一句話：中國憲兵現身南京，戰斗力極其強大。

中國憲兵的前身，大體可以上溯到北伐戰爭中葉挺的“鐵軍 ”，隨著國民政府統治的鞏固，蔣介石于1927年開始了對全國200萬軍隊的選拔工作，經過層層嚴格篩選，組成了一支8000人左右的衛隊。衛隊的成員個個身懷絕技，以一當百。1933年，隨著國民政府與德國的關系日益密切，應蔣介石的邀請，希特勒秘密派遣納粹沖鋒隊王牌教官勃羅姆來華，進行中國憲兵的秘密訓練工作，在勃羅姆的嚴格訓練下，又有近4000名士兵遭到淘汰。至此，中國憲兵正式形成。在德國教官近乎法西斯手段的嚴酷訓練和幾乎先進到牙齒的德式武器裝備下，他們如虎添翼，終于成為了中國乃至整個東北亞最為精銳的部隊。

據傳聞，在蔣介石圍剿紅軍行動最為艱苦的時候，國民政府不止一次動過調動中國憲兵進攻蘇區的念頭，只是蔣介石擔心傷亡過大，得不償失，才使這項決定終于擱淺。不過，在第五次圍剿的初期，中國憲兵確實已經受命開赴了江西地區，只是因為蘇區的迅速失陷，才使得他們沒有派上用場。

1937 年，中日戰爭全面爆發，在江南戰場上，中日雙方幾乎集中了最精銳的兵力。中國憲兵也受命開赴前線。南京戍衛司令長官唐生智曾建議將中國憲兵組成小分隊，通過空投的方式打入日軍的后方，破壞日軍的主要軍事基地，這個高明的建議反而遭到了蔣介石的訓斥。蔣介石擔心這支價值連城的軍隊如果有任何損失，都是挖心之痛。于是，在這種“保存實力”的思路下，中國憲兵在戰爭的開始階段始終在南京原地待命，充當了抗戰的看客。

殺敵的機會終于來了，隨著上海等地的陷落，日軍向南京發起了總攻，蔣介石逃往武漢，也許是出于斷后的考慮，他將中國憲兵留在了南京。隨后，唐生智率領10 萬南京守軍與日軍展開了巷戰，中國憲兵卻還在營房處于待命狀態，因為沒有蔣介石的命令，任何人都是無權調動這支部隊的。

戰況越來越緊急，第五軍軍長張治中及其部隊被日軍包圍在雨花臺。這支抗戰的英雄部隊傷亡慘重，甚至連張治中的警衛隊也傷亡殆盡。為了拯救第五軍，唐生智痛下決心，冒著被槍斃的危險，與中國憲兵旅長易安華密謀，調動了中國憲兵兩個營的兵力去雨花臺接防。此時，日軍已經幾乎完全消滅了第五軍，攻擊雨花臺的是日本甲種師團梅村師團(注：日本在二戰中一共擁有六支甲種師團，兩支作為關東軍守備東北，后被蘇聯紅軍消滅，兩支留守日本國內，后于1940年參加了太平洋戰爭。另外兩支就是被中國人所熟悉的梅村師團和“皇軍之花”板垣師團，始終投放在中國戰場，并與國共多支軍隊交手，是侵華戰爭中日軍的骨干力量。)師團長梅村是蔣介石在東京留學時的同班同學，并且曾經因為決斗勝利而繳獲了蔣介石的家傳寶刀，這件事情也是蔣介石青年時代的奇恥大辱。然而，也正是這位梅村師團長，在雨花臺爭奪戰中，最終成就了中國憲兵的赫赫威名。

當兩個營的中國憲兵與第五軍在雨花臺接防完畢的時候，梅村氣勢洶洶地發起了新一輪攻擊浪潮，他得意地認為他面對的只是一批疲弱不堪的第五軍戰士，然而，就在這個時候，雨花臺響起了德式沖鋒槍的怒吼，大吃一驚的梅村剎那間大腦一片空白。在20年后的回憶錄中，他這樣描述自己的心情：“我的頭腦一片空白，不知道是興奮還是惶恐，我突然意識到，我們真正的對手來了。”

如果說開始日本人只是惶恐的話，那么之后的一天時間則成了這些所有經歷過這場戰爭的大和武士心中永遠的噩夢，兩萬多日軍對兩個營中國士兵的戰斗，成為了梅村師團歷史上最大的恥辱。600名中國憲兵，平均每個人將防守一段25米長的陣地，平均每個人要面對50名日本甲種師團士兵，戰斗從早上打到黃昏，一批批日軍倒在了雨花臺上，始終不能前進一步。梅村師團也不愧是日軍戰斗力最強的部隊，始終攻擊不止，在最危急的時刻，梅村親自帶領敢死隊，拿著當年從蔣介石手中贏得的寶刀，與中國憲兵在陣地上拼起了刺刀，然而中國憲兵也以硬對硬，上上槍刺與日軍展開肉搏。終于，號稱天下無敵的梅村師團，在黃昏時分倒在了中國憲兵堅忍不拔的精神的面前，倉皇地丟下上千具尸體撤退。值得一提的是，在拼刺刀的戰斗中，梅村的那把寶刀被中國憲兵的戰士繳獲，梅村自己也被砍傷了胳膊，幸得部下掩護才保住了一條性命（這在武士道精神中可謂奇恥大辱），而中國憲兵也付出了慘重代價，50 多名戰士長眠在雨花臺上。