1904年，日俄兩國為爭(zhēng)奪我國東北地區(qū)控制權(quán)而爆發(fā)了戰(zhàn)爭(zhēng)。

為打破俄國獨(dú)占東北的局面，保住“龍興之地”，清政府中的一些人表面說保持“中立”，暗地里卻搞起“聯(lián)日拒俄”。日俄戰(zhàn)爭(zhēng)前夕，日本駐華軍事顧問從北洋督練公所中選拔出包括吳佩孚在內(nèi)的多名青年軍官，與日本情報(bào)人員秘密組成“中日混合偵探諜報(bào)隊(duì)”，分別到旅順、大連等地刺探俄軍情報(bào)。吳佩孚建議日軍用多只普通漁船日夜不停地對(duì)俄艦隊(duì)進(jìn)行騷擾、試探，趁其麻痹之際，再把情報(bào)船混在漁船中送到日本海軍指揮艦，此建議受到日軍的采納，為后來日軍殲滅俄軍陸上要塞做出了貢獻(xiàn)。10月，吳佩孚被俄軍逮捕，但在被押往哈爾濱的途中成功逃脫。吳佩孚出色的情報(bào)工作才能，深受日本人的賞識(shí)，吳佩孚后來的顧問岡野增次郎和兩度到洛陽相訪的白鳥健夫，就是他在這次間諜活動(dòng)中認(rèn)識(shí)的。日俄戰(zhàn)爭(zhēng)后，吳佩孚因?qū)掖瘟⒐Γ蝗毡举?zèng)“單光旭日勛章”一枚。

日俄戰(zhàn)爭(zhēng)結(jié)束后，吳佩孚進(jìn)入第三鎮(zhèn)步隊(duì)十一標(biāo)第一營任督隊(duì)官。第二年，曹錕成了第三鎮(zhèn)的統(tǒng)制。一次吳佩孚隨曹錕駐防吉林時(shí)，曹錕要用東北地圖，結(jié)果整個(gè)第三鎮(zhèn)只有吳佩孚有一張?jiān)谌斩響?zhàn)爭(zhēng)時(shí)期自己繪制的東北地圖，由此曹錕對(duì)吳佩孚開始關(guān)注，派吳佩孚到與俄國交界的吉林興凱湖測(cè)量、繪圖。

隨著日俄戰(zhàn)爭(zhēng)結(jié)束，東北各地“胡子”（即土匪）蜂起。吳佩孚因諜報(bào)活動(dòng)對(duì)當(dāng)?shù)氐乩眍H為熟悉，加之膽大敢干，在剿“胡子”行動(dòng)中屢次立功。1907年除夕，別人都在飲酒賭錢，吳佩孚卻利用這個(gè)機(jī)會(huì)率隊(duì)出去抓“胡子”。天明歸來，抓到“胡子”20余人，并繳獲大量贓物。經(jīng)此一戰(zhàn)，全營上下都說他有一套“鬼八卦”，于是送給他“吳小鬼”的外號(hào)。

吳佩孚又向曹錕立下軍令狀說：他只帶一營士兵，配備20匹戰(zhàn)馬，在三個(gè)月內(nèi)消滅當(dāng)?shù)氐摹昂印薄２苠K贊賞吳佩孚的膽量，就任命他為剿匪特務(wù)隊(duì)的隊(duì)長，撥給他一營士兵、20匹戰(zhàn)馬。

針對(duì)“胡子”采取的“你來我走，你走我搶”戰(zhàn)術(shù)，吳佩孚心中早就盤算好一套對(duì)付戰(zhàn)術(shù)。戰(zhàn)術(shù)說起來也不復(fù)雜——吳佩孚針對(duì)“胡子”的行動(dòng)特點(diǎn)，采取“跟蹤驚擾”、“守株待兔”的辦法，先帶著特務(wù)隊(duì)跟蹤“胡子”，如果小股“胡子”作亂，就地予以殲滅；如果是大股出動(dòng)，則不與之硬拼，只是讓“胡子”知道他的部隊(duì)就在附近，如此一來，“胡子”只得撤退，他們則不緊不慢地跟隨其后。兩個(gè)多月后，大隊(duì)“胡子”被特務(wù)隊(duì)跟得筋疲力盡，還無法作案，食不果腹，只好化整為零，各自回到落腳地，想等官兵撤了之后再重新聚集。等“胡子”一散，吳佩孚立即命令特務(wù)隊(duì)將他們分批緝捕。看到吳佩孚的剿“胡子”成果顯著，曹錕非常滿意，很快提拔他為標(biāo)統(tǒng)。此后，曹錕更是對(duì)吳佩孚言聽計(jì)從。

直皖戰(zhàn)爭(zhēng)后，吳佩孚成為直系的首領(lǐng)之一。然而“胡子”出身的奉系張作霖卻看不起吳佩孚。吳佩孚曾隨曹錕去天津與張作霖會(huì)晤。見吳佩孚在一旁不斷插嘴，張作霖當(dāng)面斥責(zé)他說：“你以一師長，在某與三哥（指曹錕）面前自由發(fā)言，擅做主張，成何體統(tǒng)？此間某之部下師長非止一人，若竟效之，豈不亂了套嗎？”對(duì)“胡子”歷來反感的吳佩孚聞言色變，遂拂袖而出，恨恨地說：“早晚要讓你張胡子認(rèn)識(shí)認(rèn)識(shí)俺這個(gè)師長的厲害！”據(jù)此有人說，后來吳佩孚不惜兩次發(fā)動(dòng)直奉戰(zhàn)爭(zhēng)，與此不無關(guān)系。