張作霖決心建立東北海軍是有原因的。1922年4月，第一次直奉戰爭爆發時，吳佩孚乘溫樹德海軍少將的旗艦“海圻”號，巡視秦皇島、葫蘆島一帶，并策應山海關的直系陸軍，在葫蘆島發炮一百余發，對奉軍造成威脅。5月，奉軍失敗。在退出山海關時，奉軍遭到依附直系的“海籌”、“海容”等軍艦從秦皇島海面大炮的轟擊，部隊損失較大，甚至白天不敢行動，夜車不敢開燈。張作霖的座車也險被擊中。張作霖深感沒有海軍不能控制海面的痛苦，遂決心建立東北海軍。

東北海軍的創始人是沈鴻烈。沈鴻烈，字成章，湖北天門人，1882年生。1906年，入日本海軍學校學習，加入中國同盟會。1911年畢業回國。武昌起義爆發，沈鴻烈奉命為海軍宣慰使，策動長江上下游海軍反正。1912年，任南京臨時政府海軍部軍機處參謀。次年，任北京政府參謀本部上校科長，主管海防。1916年，被派赴歐洲觀戰團海軍武官。1918年回國后任陸軍大學海軍教官。1920年任吉黑江防司令公署中校參謀。1922年，張作霖任命他為鎮威上將軍公署航警少將處長。

原來，在清朝末年，他在湖北新軍充當文書，由兩湖總督張之洞派赴日本留學。當時中國海軍大權掌握在閩系手中，艦上服役也全是福建人。非閩系的赴日本留學的海軍軍官就不能在艦上服役，只能在北京海軍部候補。以后也只是任參謀等文職人員，沒有更好的出路。沈鴻烈不甘寂寞，他謀到吉黑江防司令公署中校參謀的差事，是難得的機遇。

適逢奉軍戰敗退回關外，張作霖自稱東三省保安司令，宣布東三省獨立，決心加強海防。沈鴻烈便提出了加強海防的具體建議，受到張作霖的賞識，竟被采納。沈鴻烈把家眷接來東北，在法庫買地落戶，表示決心跟隨張作霖，再加上他的豐富的海軍閱歷和深湛的海軍知識，因而，受到張作霖的信任。張作霖便任命其為東三省保安總司令部八大處之一的航警處少將處長。沈鴻烈原來只是中校參謀，破格提升為少將處長，這在海軍軍官中還是空前的。后來東三省保安總司令部改為鎮威上將軍公署。

此后，沈鴻烈便放眼全國，大力招攬人才，把他昔日不得志的同學，盡量吸收到東北來，如凌霄、方念祖、謝剛哲等二十余往日的同學，都是先后投奔他來到東北的。有了這些海軍人才，沈鴻烈便沉下心來，創建東北海軍。

首先，建立東三省航警學校。該校最初叫葫蘆島航警學校，校址設在奉天省錦西葫蘆島炮臺山右側的八號洋樓。后來改名為東北航警學校、東北海軍學校等。當時的校長是海軍上校凌霄，教育長是海軍中校方念祖，佐理官是海軍中校陳華森，學監是海軍少校戴修鑒。以下設有兵學教官，分任航海、船藝、槍炮、魚雷、輪機、氣象、海洋，以及海戰術，炮戰術等科；另有大學數學、物理、化學等專業教官。

學校初設軍官班和學兵班兩種。學生隊有隊長、班長，學兵隊也有隊長。在1921年冬，先招考海軍學兵隊、水兵隊和輪機兵隊，各200名。1923年春，在沈陽招考航海將校學生班。報名學歷限定中學畢業或有同等學歷者。報名者不多，約有五百人，錄取40人。又為浙江督軍盧永祥代培7名。

這一期入學共為47名。1923年4月1日，正式開學。1926年9月畢業，真正訓練出來的在海防艦隊服役的只有27名。這是東北海軍學校培養的第一期海軍軍官。第二期招考38名，畢業的只有33名。兩期畢業在海防艦隊服役的只有60名。

但是，這就逐漸形成了中國海軍的東北系，同以正統自居的閩系海軍，形成北南對峙的格局。東北海軍在中國海軍中占有了重要的一席之地。學兵班共辦了6期，培養了海軍士兵1090名。這所海軍學校的創辦，為東北海軍的建立和發展，做了必要的人才準備。這也是張作霖命令沈鴻烈創辦該校的初衷。

其次，籌建東北海軍艦隊。當時東北自己沒有軍艦，向外國購買也不容易，只得著手改造商船。向煙臺政紀輪船公司購買2500噸級的商船1艘，改造后命名為“鎮海”軍艦；向日本購買2500噸級的廢商船1艘，改造后命名為“威海”軍艦。又征召中央海軍煙臺海軍學校的8年制畢業生，來東北海軍服役，共招來三十余人。他們都上了軍艦，解決了艦隊基層軍官不足的難題。1923年，“鎮海”軍艦正式成軍，第一任艦長為海軍上校凌霄，副長為海軍少校盛建勛，輪機長為海軍少校張振艤。

第二次直奉戰爭，奉軍獲勝。沈鴻烈向張作霖所作的“海防無虞”的保證，得以實現。從此，張作霖對東北海軍的建設更加支持。不久，“威海”軍艦也繼續成軍。又將在塘沽接收的1000噸級的俄國破冰船命名為“定海”軍艦。還購入了300噸級的日本舊魚雷艇，命名為“飛鵬”軍艦。至此，東北海軍艦隊就以“鎮海”“威海”“定海”“飛鵬”4艦組成。凌霄任代將艦隊長。代將是東北海軍軍銜，介于上校和少將之間。方念祖任“鎮海”艦長，宋式善任“威海”艦長，馮濤任“定海”艦長，謝渭清任“飛鵬”艦長。沈鴻烈升任中將司令。第二次直奉戰爭后，東北海軍擁有江防、海防兩支艦隊，以及一所海軍學校。但東北海軍的實力還很弱，沒有一艘真正的軍艦。

再次，巧妙接收渤海艦隊。東北海軍成立后，面對的勁敵就是渤海艦隊。渤海艦隊擁有3艘巡洋艦、２艘炮艦、1艘魚雷艇，是一支實力雄厚的正式艦隊。東北海軍根本不能望其項背。和平地接收渤海艦隊，是沈鴻烈面臨的一大難題。但是，直奉二戰后，直系失敗，歸直系管轄的渤海艦隊陷入困境。連餉銀都發不出來，欠餉達3個月之久。太阿倒持，軍令廢弛。軍官聚賭，士兵放假，軍艦失修。艦底的蚌殼附著物厚達一尺多，艦速大大降低。官兵士氣消沉，感到前途無望。這給接收渤海艦隊提供了難得的機遇。

該艦隊中的大型巡洋艦“海圻”號，必須修理，否則就廢棄了。當時，北方除旅順口外，沒有可以停放“海圻”軍艦的大型船塢。無法，只得于1927年到旅順口來修理。恰巧同時在該船塢修理的還有東北艦隊的“鎮海”軍艦。兩艦隔塢相望，新舊對比鮮明。“鎮海”軍艦，生機勃勃；“海圻”軍艦，死氣沉沉。因此，“海圻”軍艦的官兵人心思動，都在向往歸附東北海軍艦隊。這里要提一下“鎮海”號，“鎮海”號可以說是中國海軍歷史上的第一艘航空母艦。“鎮海”艦原是商船，后改為軍艦，搭載一種叫做“施來克”的水上飛機。1926年，在所訂購的飛機到位后，東北海軍成立了“水上飛機隊”，把“鎮海”號作為水上飛機隊的母艦。這樣，中國歷史上的第一艘航空母艦橫空出世。

在這種情況下，他們在軍艦修好，剛出旅順口之際，就通電全國歸附東北，全艦官兵歡呼雀躍。在上校艦長袁方喬、協長張衍學和航海大副曹藍亭的率領下，“海圻”軍艦奉命駛向長山列島，并以此為根據地，長期駐泊。張作霖異常興奮，下令悉數補發官兵3個月的薪餉，袁方喬升為代將艦隊長。要說明的是，該艦絕大部分官兵都是山東人。他們一直受到閩系海軍的排擠，同東北海軍反而很親密。這也是他們歸附東北海軍的心理基礎。

“海圻”軍艦當時是中國最大的巡洋艦。它是1894年的甲午戰爭后4年，從英國購買的。辛亥革命前，曾代表中國海軍，遠渡重洋，赴英國倫敦慶賀英皇加冕典禮。之后，又應華僑的要求訪問了美洲，辛亥革命后才回國。“海圻”被稱為“海上王”，其航行速度和武器裝備，都是世界一流的。因此，“海圻”軍艦歸附東北，東北海軍如虎添翼，壯大了東北海軍的實力，鼓舞了東北海軍的士氣。據說，南京政府的海軍部部長陳紹寬曾問到他的部下：“如果東北海軍南下，你們作何打算？”部下畏葸地答道：“最好不遇見。”可見，此時的東北海軍已經具有很大的威懾力量，駐泊港灣，即可先聲奪人。

“海圻”軍艦的歸附，只是一條軍艦的問題，要害是必須盡快接收整個渤海艦隊。“海圻”軍艦的歸附，為接收整個渤海艦隊排除了最大的障礙。第二次直奉戰爭，直軍陸戰失敗了。奉系的勢力已經延伸至直、魯、蘇、豫、皖5省。但屬于直系的渤海艦隊問題還沒有解決，這是當務之急。渤海艦隊龜縮在青島海灣，不主動投降。

沈鴻烈采取了強行改編渤海艦隊的計策。他策略地擁戴山東督軍張宗昌為東北海軍總司令，自居海軍副司令，下轄兩個艦隊。第一艦隊由原來的東北海防艦隊及“海圻”、“江利”兩艦組成，艦隊長為袁方喬少將，駐泊長山島；第二艦隊由渤海艦隊組成，艦隊長為凌霄少將，駐泊青島。依據命令，凌霄只帶一兩個幕僚就到渤海艦隊的“肇和”軍艦升起少將旗接任。但夜間凌霄就被該艦軍官軟禁，限制自由。同時，渤海艦隊的“海琛”軍艦，也在沒有命令的情況下，私自夜間行動，到青島海灣后海集中，并禁止東北艦隊的“鎮海”軍艦駛離碼頭。海面戒嚴，前后海不通，一時形勢十分緊張。

沈鴻烈忙中不亂，急中生智，速去濟南向張宗昌求救。擁有海軍總司令頭銜的山東督軍張宗昌急赴青島。在沈鴻烈的策劃下，把東北葫蘆島航警學校的海軍學生和學兵假扮成陸軍，暫充張宗昌的衛隊。張宗昌在沈鴻烈的陪同下，率領衛隊，登上“肇和”軍艦，立即集合官兵講話。當全艦官兵集合到甲板上時，張宗昌的衛隊就迅速地占領了該艦的槍炮位和火藥庫等要害部位。張宗昌粗中有細，他知道處理突發事件，必須迅速果斷，不給對方以任何喘息之機。因此，大字不識幾個的張宗昌講話直截了當。他嚴厲地問：“我是總司令，你們服從我不？”官兵不知所以地齊聲回答：“服從。”張宗昌立刻直接下令：“既然服從，我命令你們馬上集合到岸上去聽候改編。”就這樣，三下五除二，不費一槍一彈，渤海艦隊被和平地接收了。

原來的渤海艦隊司令溫樹德被調任軍事部海軍署長。張宗昌委任部將畢庶澄為艦隊司令。后來，畢庶澄轉任上海護軍使，他打算把艦隊帶到南方去，不料消息泄露，為免除后患，張宗昌就把他槍斃了。又任命揚州人吳志馨海軍少將為艦隊司令。1928年，張宗昌以吳志馨與北伐軍秘密勾結為由，將吳扣押在濟南，4月，張宗昌從濟南撤退時，把吳也槍斃了。就這樣，沈鴻烈依靠山東督軍張宗昌的強大后盾，巧妙地接收了渤海艦隊。

最后，東北海軍的全盛時期。接收渤海艦隊后，東北海軍進入了全盛時期。沈鴻烈任海軍中將司令，直轄江防艦隊。海防擁有兩支艦隊：第一艦隊轄有“海圻”“海琛”“鎮海”“威海”“同安”等軍艦，以海軍少將凌霄為艦隊長，駐泊青島；第二艦隊轄有“永翔”“楚豫”“江利”“定海”等軍艦，以袁方喬為艦隊長，駐泊長山島。陸上機關有海軍學校、陸戰隊、造船所、海軍航空隊、海軍醫院等。這樣，東北海軍就與福建海軍形成了南北對峙的局面。

1927年6月，張作霖命令設立東北海軍總司令部，張作霖兼總司令，沈鴻烈任海軍上將副總司令，代行總司令職。

東北海軍的全盛時期，擁有大小艦只21艘，約有3.22萬噸，艦隊官兵約3300人。當時全國海軍艦只只有4.2萬噸，官兵約有5400人。東北海軍在全國海軍中是占有絕對優勢的。東北海軍在第二次直奉戰爭中，起到了牽制敵人的重要作用。

張作霖重視東北海軍的建設，不進行直接干預，放手讓沈鴻烈去干，收到意想不到的效果。這是張作霖用人策略的一個成功之處。