唐朝開元四年，有個姓張的大官被貶到岳州(今岳陽市)來當太守。張太守到了岳州之后，愁眉緊皺，痛苦不堪。

有一天，他帶著幾個人出去巡視，順便散散心，可是轉了半天，也沒找到個風景好的地方。

太陽落山的時候，太守帶著隨從轉到西門外湖邊上，看見前面有個圓形石臺，上面建了個小亭閣，亭上掛著“閱兵臺”匾額。原來這里是三國時期吳國大將魯肅在洞庭湖操練水兵時修的。張太守登上閱兵臺，遠望無邊無際的洞庭湖，頓時感到心胸開闊多了。一個隨從對張太守說：“老爺，這里既可登高望遠，又可觀賞湖光山色，如果在高處筑座樓閣，那該多好呀！”

張太守聽了，覺得有些道理，便打定主意，只等良辰吉日，動工建樓。第二天立即出榜，招聘名師巧匠，擔任工程總管。

有一天，從潭州(今長沙市)來了一個青年木工，名叫李魯班，自稱擅長土木設計，無論什么亭閣樓臺，宮殿廟宇，都能設計得盡善盡美。張太守便命他主管工程，限他一個月之內，畫出一座三層、四角、五梯、六門、飛檐、斗拱、盔頂的樓閣圖樣來。

李魯班成天躲在房子里，畫了又畫，算了又算，整整搞了七七四十九天，紙樣畫了一大堆，不是繪成一座土地廟，就是畫成一個過路亭。累得滿頭大汗，還是沒有一點結果。

張太守氣極了，他對李魯班說：“眼下工匠來了這么多，只等你的圖了。真該死，你誤了我的大事！再寬限你七天，到時候交不出來，絕不輕饒你！”

李魯班嚇得冷汗直冒，想來想去，也想不出什么好辦法，一個人坐在湖邊上哭起來了。木工、石匠見他哭得實在傷心，都跑去勸他說：“哎喲，你這個青年人哪，何必這樣認真呢，不知道就不知道嘛，好好地在張大人面前認個錯就是了。”

也有人說些風涼話：“既然取名魯班，就一定有魯班的本領，設計一個小小樓閣算得什么！”

李魯班聽了這些話，便誠懇地說：“各位師傅，我在鄉下也做了六年手藝，茅屋瓦房蓋過百十來棟，真沒有想到畫個樓閣圖會有這么難呀。事到如今，只好請眾鄉親幫幫忙，往后再重重地報答諸位。”

這時，有位白發老人站到人群前面來了。這位老人家，大家也不知道他叫什么名字，只知道兩個月來，他每天都在工地上轉來轉去，問長問短，他對李魯班說：“我看真魯班也是從小苦學出來的，如果光躲在房子里畫圖，是難得畫出個好樓閣來的。還是要和別的師傅多多商量才好。”“看樣子，你一定也是個木工師傅了？”李魯班恭恭敬敬地向老人說：“你老人家見多識廣，請你費神幫幫我的忙好嗎？”

老人說：“我沒有畫過圖，只不過呢，我這里有些小玩意兒，你若喜歡，不妨拿去擺弄擺弄，或許會擺出一些名堂來的。”老人把背著的包袱打開，里面裝的是一大堆長的、短的、圓的、方的，還編了號碼的木柁柁，他隨手往地上一攤說：“若是還差點什么的話，到連升客棧的樓上找我就是了。”說完之后，他頭也不回地走了。

李魯班抱起那堆木柁柁，蹲在工棚里苦思冥想，擺來弄去，竟連飯也忘記吃了。

有個年輕木匠見他這樣入迷，抓起幾個木柁柁往草堆里一丟，說：“哼，那個老漢瘋瘋癲癲的，說不定是個吹牛皮大王，你也真的相信他？”旁邊幾個老木匠連忙說：“年輕人還是謙虛一點的好，人家年紀那么大了，他過的橋，比你走的路還多呢？你憑什么說他吹牛皮？”老木匠們一個個坐下來和李魯班一起按著木柁柁上面的號碼，慢慢地擺弄起來。他們擺了又擺，突然，大家高興地齊聲喊叫起來：“快來看呀，一座頂漂亮的樓閣模樣兒做好啦！”工匠們聽見了，跑過來一看，果然是一座壯觀的樓閣模型。不一會兒，整個工地的人都圍過來了，人人夸贊不已。可是看來看去，還有個飛檐少了五個斗拱。

大家按號碼仔細一查，不多不少缺了五個木柁柁。剛才那個丟木柁柁的青年木工，也跑來了，毫不在乎地說：“整整一座樓閣的模樣兒都做出來了，差這幾個木柁柁愁什么！等我來照樣做幾個補上去就是了。”

哪知道他做了一天一夜，木頭砍了百多塊，就是沒有一個合適的。不是長了半分，就是短了半分。這時，他才想起被自己丟掉的那幾個木柁柁，心中很覺得過意不去，只好對大家說：“實在對不起大家，只怪我太不懂事，那少了的斗拱，就是先前被我丟掉的那幾個。”“丟在哪里？快帶我們去找回來。”大伙齊聲問道。“就在前面茅草堆里。”青年木匠領著大伙在那一片野草叢里找來尋去，好容易找出了四個，還有一個卻怎么也找不出來，野草都扯光了，也不見木柁柁的影子。

這時，張太守聽說樓閣模型造好了，急急地趕來一看，果然氣派不凡。他高興極了，連聲稱贊說：“如此壯觀、雄偉，真可謂天下第一樓矣。”“啟稟老爺，此樓模型還差一個飛檐斗拱。”“此樓模樣出自何人之手？快快請來將斗拱補上。”“稟老爺，是個白發老人，不知姓名，只知他住在連升客棧。”張太守領著大家急急忙忙奔到連升客棧，要找白發老人。老板娘聽說張太守親自來找人，不知出了什么事，連忙慌慌張張跑出來說：“哎呀，這個老頭子進店兩個多月了，白天從不落屋，夜間就在樓上劈呀鋸的鬧到半夜。我還以為他幫人家做家具，誰知道他只給那些孩子們做些好玩的。”

“快快打開樓門，讓我去看個究竟。”張太守那個急不可待的樣子，把老板娘嚇壞了，她連忙把樓門打開。讓張太守查看。張太守上樓一看，沒見老人的影子，只見床上擺著一張繪制得精致美觀的樓閣圖樣，桌子上還有十幾個木柁柁。老師傅們認真地翻了一陣，發現桌上正好有缺少的那個號碼的木柁柁，連忙拿回去一擺，便構成一份完整無缺的樓閣模型了。張太守和大伙拍手大笑起來：“這才是真魯班來了，一定要把他找到。”

可是誰也不知道他到什么地方去了，張太守連忙派人到岳州城內城外四處查訪。頭天沒找到，第二天還是沒影子，直到第三天清早，忽然有人前來報信，說有個白發老人在湖灘上用石頭砌了一個拱洞，又在拱洞上面砌房子。張太守聽了，領著幾個人連忙趕到湖灘。可是那個白發老人又不見了，只見那石頭砌成的拱洞上面，架起了一個非常美麗壯觀的樓閣，張太守指著湖灘上的樓閣模型，贊嘆道：“此人才智非凡！看來用拱洞做樓基可算別具一格。這真是得天之助也！”他抬頭一看，只見一個白發者人，手握一把尺子，正在對面高坡上丈量土地，張太守連忙問眾人：“前面可是……李魯班高興地叫喊起來：“正是他，正是那位老師傅呀！”

張太守趕上前去，一邊行禮，一邊說：“久仰師傅技藝超群，今日得見，真是三生有幸，敢問師傅莫不是姓魯？”白發老頭連連搖頭說：“我姓盧，魯班是我的師傅。”“令師今在何處？請求指點，下官有事求見。”白發者頭指著前面許多木工、泥匠說：“你看他正在那里向老師傅們請教哩。”眾人順著他手指的方向看去，果然有個異樣的老人，興致勃勃地正在和工匠們談論著什么。張太守領著大家趕過去一看，那些正忙著做事的木工泥匠，仿佛人人都像剛才看見的那個盧師傅，但又分不清哪個是真正的魯班。待他們回頭再去找那個姓盧的師傅時，只見地上留下一把尺子，上面清清楚楚刻了“魯班尺”三個字。

張太守急忙登上當年魯肅的閱兵臺，面對八百里洞庭湖水高聲呼喊著：“魯班師傅——，請你再來喲——”湖面上，頓時遠遠近近響起了一片“來喲——來喲——”的回聲。這時，西邊天上，紅霞萬朵，仿佛有個白發老人，乘著一只白鶴，向水天盡頭飛升而去。木工、泥匠師傅們按照那白發老人設計的式樣終于造成了樓閣，并以西城門拱洞作為樓基。

人們把三層飛檐拱取名為“魯班斗”。由于這個樓閣位于天岳山之陽，所以大家就稱它為“岳陽樓”。