1912年2月12日，清帝溥儀宣布退位。消息傳來，馮玉祥于大年初三(2月20日)登上去北京的火車。馮玉祥到了北京，先在西單橫二條的京畿軍政執法處住下，在此與李鳴鐘不期而遇。李其時正在執法處當衛士，是馮到北京后見到的第一位他的“二十鎮”袍澤。

2月29日，駐防京畿的陸軍第三鎮發生兵變，北京四城火光沖天，變兵大肆搶掠。兵變平息后，袁世凱對京師的拱衛不再信賴北洋六鎮，決定編練中、前、左、右、后5路備補軍，即禁衛軍之前身，委陸建章為左路備補軍統領。

左路備補軍轄中、前、左、右、后5營，馮玉祥被任命為前營(二營)營長;每營轄中、前、左、右、后5哨(連)，哨官相當連長;每哨轄3排，每排轄3棚(班)。

雖然馮玉祥被委以二營營長，手下還沒有一兵一卒，便著手去直隸景縣招募新兵，隨行的有中營(一營)前哨哨長宋哲元。3月5日，馮玉祥前往景縣募兵，到10日為止，順利招滿一營新兵。應募的新兵全部是貧苦農民和手工業者，曾經當過兵的一個不要。要甄別后者，馮玉祥就提出了一個簡易辦法：令應募者站成一列，突然大呼一聲口令“立正”，大凡當過兵的，會本能地做出“立正”動作。此次景縣招募的新兵中，有不少人日后成為西北軍著名將領，如孫良誠、劉汝明、佟麟閣、程希賢、韓占元、劉玉山、李長清、曹福林、安樹德、張俊聲、陳新起、張德順等。

馮玉祥帶隊回到北京，于正式編隊之前，先在南苑軍營對新兵進行為期5天的簡單訓練。這時的新兵沒有軍裝，更沒有武器，一個個蓬頭垢面，鶉衣百結，走到街上，猶如乞丐。用馮自己的話說：“怎么看也像一群叫花子，我自己就像一個花子頭。”

馮營在南苑滯留期間，仍有人前來應募，如石友三、過之綱、馮治安等未來的西北軍將領。

在進行術科教學中，為便于士兵牢記訓練要領，馮玉祥親自編寫了三首軍歌：《戰斗動作歌》《射擊軍紀歌》和《利用地物歌》，這三首歌后來成為馮軍著名的“三大軍歌”，歌詞摘錄《典范令》的要點，曲譜則借用基督教贊美詩的旋律。

半年之后，馮營告別三家店，移駐北京平則門(阜成門)內，仍一邊訓練，一邊守護設在北京城西南隅工部王恭廠的舊火藥庫。馮玉祥為官兵編纂一本名曰《精神書》的小冊子，其中分“道德精神”、“愛國精神”和“軍紀精神”三部分，凡80余條，每條都是格言式或語錄式的條目，“有過必改，過則勿憚改。人非圣賢，孰能無過？過而能改，勝于無過。”“古今英雄，百戰而不死，非是怕死，乃是真不怕死。”這些條目官兵都要朝夕誦讀，會背會講，此后的西北軍也是如此。以致后來祖父韓復榘主魯時期，還能對《精神書》倒背如流。

1913年3月，一位19歲的學生在北京投效左路備補軍第二營中哨充親兵，這位年輕人就是后來的西北軍名將葛金章。

這年春天，左路備補軍訓練告一段落，二營一部留在城里擔任勤務，負責城防，兼為外交部大樓等政府重要機關站崗;一部仍返回三家店守護陸軍部軍械局。韓復榘隨營部駐城內。9月，左路備補軍奉命改編為“京衛軍”，下轄左翼第一團和左翼第二團，陸承武營擴編為左翼第一團，陸任團長;馮玉祥營擴編為左翼第二團，馮任團長。

為了擴編部隊，馮玉祥帶上李鳴鐘等幾位官佐頭目赴河南郾城一帶募兵。李是河南沈丘縣人，不到兩個星期，便招足1600名新兵，其中有吉鴻昌、梁冠英、張凌云、田金凱、趙廷選、魏鳳樓、程心明、雷太平、雷中田、田春芳、李團沙、李曾志等，這些河南籍的新兵后來都成為西北軍第二代著名戰將。

另外，席液池、韓德元(韓占元的胞弟)、丁漢民、曹夢九等雖不是這次招的，不夠兵格，但被收在軍營伙房內當伙夫，3個月后補為哨兵。馮玉祥在第十六混成旅第一期模范連當學兵期間，祖父韓復榘是他們的上級排長。

不久，馮營奉命開往北苑訓練兩個月，其間新兵開始編制成營，每人領到一套黃色布軍裝(戲稱“黃馬褂”)，每哨發90支破舊的老槍，分單筒毛瑟步槍和雙筒毛瑟步槍兩種。馮治安初為伙夫，后補前哨哨兵。石友三初為馬夫，后補左哨哨兵。

5月中旬，馮營開往京西三家店，一邊訓練，一邊守護陸軍部軍械局。

這時，居家的祖父韓復榘聽說老管帶馮玉祥在北京又當上營長，時下正在邀集舊部，趕緊于6月初離家，很快就在京西三家店找到了馮玉祥。馮玉祥先安排祖父在二營任什長，未及1月，又讓他做起老本行———營部司書。

馮營在三家店駐扎半年，其間又有一些前二十鎮袍澤前來投效，如趙席聘、谷良友、張維璽、馬式彬、馮安邦等，初皆委以什長，旋即升為哨長。是時過之綱、孫良誠、韓占元、佟麟閣、劉汝明、程希賢、李長清、劉玉山、席液池等皆升為什長。

馮玉祥首先在營中成立三個講堂：官長講堂、頭目講堂和特別兵講堂。祖父韓復榘在官長講堂聽課。馮玉祥又創建“拳擊技術班”和“器械體操班”，旨在加強官兵體質鍛煉。什長以上官佐有“圖上戰術課”。

不久，馮玉祥把新兵帶回北京，先安置在順治門(宣武門)外的一座大廟里住下，隨即編制成團。

“老二營”擴編為團后，祖父韓復榘向馮玉祥明確表示：志在帶兵打仗，不愿再做案頭工作，馮玉祥便調他到二團二營六連任排長。

馮團編制完成后，即開往北苑訓練3個月。1914年初，馮團又調進城里朝陽門內東四祿米倉駐防。由于這里長年無人居住，環境骯臟陰冷，很多官兵都病倒了。不久，追繳白朗的命令下達，馮玉祥就帶著這支剛組建的部隊出征了。