忽必烈向高麗人提出的或許是最苛煩的要求，是協助他與日本建立聯系。在長達四個世紀的歷史時期內，日本島國的大部分地區在很大程度上處于與中國完全隔絕的狀態。由于9世紀中葉佛教在中國遭受迫害，日本與中國逐漸疏離，直至最后決定幾乎完全切斷與中國的貿易和文化聯系。對于忽必烈來說，如果能與日本重建朝貢關系，就能在漢人心目中樹立自己的高大形象，這將是其他任何方法都無法比擬的。正是這種急于博取漢人贊賞的心態，促使他決定一定要與這個日出之國建立聯系。但直到那時為止，蒙古將領還從未參加過海戰。而此時忽必烈做出了一個重大的決定，要跨海降伏這個島國。雖然他并沒有打算發起一場海戰，但是他降伏日本的計劃最終導致了悲慘的結局。

高麗人不喜歡日本人，但是他們并不熱衷在忽必烈控制日本的計劃中擔當中介的角色。自從1223年以來，高麗沿海地區就一直遭受著被稱為“倭寇”的日本海盜的襲擊和搶掠。日本海盜利用高麗遭受蒙古入侵而無暇防備的機會，大肆侵擾高麗的沿海地區，直至1263年。但是高麗王室認識到，日本海盜的行為并不是由日本政府或者日本軍事政權支持或認可的，因而沒有對日本宣戰。它僅僅派遣使者抗議日本海盜的襲擊。一旦日本海盜獲悉蒙古人已經征服了高麗，而朝鮮半島戰事已消除，他們便停止了襲擊。因此，高麗人并無特別的興趣幫助蒙古人與日本建立聯系。

然而，忽必烈另有想法。在1266年的秋天，他派遣使節向日本人通報了新朝在中國建立的消息，并請他們向新皇帝進貢。高麗人負責幫助使團橫渡海峽。負責接待忽必烈使團的高麗人試圖勸阻他們執行使命，并警告他們說，日本列島附近的海面風急浪高，氣候惡劣，異常危險。事實上，高麗人根本不想被卷入蒙古和日本的關系之中。高麗人的恫嚇終于奏效，蒙古使者對充滿危險的赴日旅程感到氣餒，于是匆匆返回中國。他們的報告激怒了忽必烈，他也認為高麗人不值得信賴。在1267年的夏天，他給高麗王廷寫了一封措詞嚴厲的信，斥責他的“屬民”不僅不協助他的使節，反而阻撓他們前往日本。他決心排除高麗人的干擾，再做嘗試。

然而，在決定動武之前，他再一次派遣使節到達日本。他選派的特使趙良弼(1217—1286)于1272年春出發，并于同年的10月在九州島東岸的今津町登陸。當他覲見日本天皇的要求被粗魯地拒絕后，他發出了最后通牒：日本天皇只有兩個月的時間對忽必烈的信函作出反應。日本天皇愿意對蒙古作出一個平和的模棱兩可的回答，但幕府拒絕任何妥協。鐮倉的武士占了上風，他們把中國特使驅逐出境。幕府的粗暴無禮被描述為“等同于宣戰”。趙良弼于1273年6月返回中國，向忽必烈報告了日本的風土民情，可能還包括防務情況。趙良弼描述了他在日本受到的羞辱，這深深地激怒了忽必烈。他不能再耽延，因為耽延只會使日本人更加肆無忌憚。在趙良弼返回前幾個月，蒙古人剛剛在襄陽取得了征宋戰役的重大勝利，因此忽必烈可以抽調一小部分軍隊前去征討日本。同時，他的對日戰役也是他征宋戰役的一個組成部分，因而也是必要的。日本人一直積極地與忽必烈的夙敵南宋開展貿易活動。擊敗日本人，他便能切斷兩個勁敵之間的聯系，從而削弱南宋。

忽必烈的征日準備工作已經進行了相當長的一段時間了。他命令高麗人制造船只，運送他的軍隊橫跨日本海，從日本列島的最南端發起攻擊。1274年11月，他派遣了一支由蒙古人、漢人、女真人組成的一萬五千人的軍隊和六千至八千名滿心不悅的高麗士兵(他們并不想參加這場戰役)，由大約七千名高麗水手引導，從合浦(在現在的韓國釜山附近)出發開往日本。蒙古軍分乘三百艘大船和四百到五百艘小船，首先在對馬島和壹岐島登陸，輕易地蕩平了駐守在那里的日軍。但是，忽必烈派往日本的軍隊無論規模上還是實力上都不足以徹底掃平日本列島。他肯定低估了日本人的抵抗能力。

最關鍵的戰斗自然將在九州進行。雖然日本人知道蒙古大軍正在開過來，但是他們的準備工作做得還很粗略。他們的經濟狀況無法在九州維持一支規模可觀的軍隊，他們也沒有一個政治統一和中央集權的政權去組織一支強大的軍隊投入戰斗。他們根本無法對付蒙古人的遠程武器，包括十字弓和各種各樣的彈射器。他們的指揮官缺乏實戰經驗，與身經百戰的蒙古統帥無法相比。日本軍隊長于肉搏，但是蒙古軍隊習慣于以組織嚴密的小組為單位集體作戰，這種戰術是日本人所不熟悉的。所以，當蒙古軍于11月19日在九州東岸的博多登陸時，日本人處于絕對的劣勢。蒙古軍在進軍之前鼓樂齊鳴，其戰陣和攻擊方法使得日本人毫無招架之力。第一晚的戰斗就使日本軍隊遭受了人員和裝備的重大損失。他們的殘兵敗將更是不堪一擊。潰敗看來是在所難免了，那天晚上，唯一使他們大難不死的是無邊的黑暗。

但大自然為日本人提供了更好的保護。就在同一天晚上，海面突然起了風暴。高麗水手馬上對蒙古將領說，他們必須回到船上，把船開往海上，直到風暴消退。否則，他們的船只就會與岸邊的巖石相撞而沉沒，那樣，他們將失去唯一的撤退工具。蒙古人勉強同意了，并開始從博多撤退。一些日本人追擊并殺死了一些正在撤退的蒙古兵。然而，那天晚上蒙古兵遭受的大多數傷亡都發生在海上。狂風、巨浪和礁石把幾百艘船只擊成了碎片。根據一些記載，蒙古軍有一萬三千人因此喪生。日本人因這場風暴而大難不死。蒙古人的遠征以徹底的失敗而告結束，殘余的蒙古軍駛回了老家，向忽必烈報告了這次慘敗。

由于大汗正把全部精力投入到征服南宋的戰役中，他無法騰出手來立即向日本人復仇。相反，1275年忽必烈又向日本派遣了一個使團，由杜世忠和何文著帶領，要求日本稱臣，以免再度興師入侵日本。日本當局正因為最近的軍事勝利而趾高氣揚，并相信他們的神拯救了他們，于是把不幸的使節處死，進一步加深了與中國王朝的嫌隙。對蒙古人來說，再沒有什么比這種行徑更可恨的了。忽必烈決不能允許這樣一種暴行逃過懲罰。但是，直到好幾年后他才騰出手來再次興兵討伐日本。

13世紀70年代中葉，忽必烈已經平定了高麗，甚至把他們變成了征日戰役中的幫手，盡管高麗人并不情愿這樣做。但他無法以同樣的手法降伏日本人。他在別處有更多需要操心的事情，特別是對他的帝國領土完整的現實威脅。中亞向他的政治權威提出了更加嚴重的挑戰。他必須首先解決那個地區的問題，然后再回過頭來對付日本人。