耶律楚材是蒙古帝國(guó)大臣，先后侍奉了成吉思汗、窩闊臺(tái)汗兩任大汗，為蒙古的建立，發(fā)展及繁榮都貢獻(xiàn)出了自己的力量。在成吉思汗在任期間對(duì)耶律楚材就無(wú)比信任，在去世之前對(duì)窩闊臺(tái)說(shuō)一定要信任耶律楚材，對(duì)他委以重任。

窩闊臺(tái)在位期間也聽從耶律楚材的很多建議，是蒙古國(guó)得以不斷地發(fā)展，壯大。但在窩闊臺(tái)去世之后，皇后脫列哥那，史稱乃馬真后趁機(jī)奪取政權(quán)，收買了親屬及一些大臣，掌權(quán)長(zhǎng)達(dá)5年之久。在皇后脫列哥那掌權(quán)期間，啟用一些諂媚，不學(xué)無(wú)術(shù)之臣，打擊忠良之士，漢法名臣。作為一個(gè)國(guó)家的掌權(quán)人，她只知道搜刮財(cái)物，盡情享樂，為人斤斤計(jì)較，注重私人恩怨。而作為國(guó)家重臣的耶律楚材也很自然的仕途開始變得坎坷，受盡排擠。

脫列哥那執(zhí)政期間，重用奧都剌合蠻，對(duì)他十分信任。為此罷免了財(cái)政大臣和大宰相鎮(zhèn)海，并將汗廷的印章和空紙交給了奧都喇合蠻，讓他自己填寫，后遭到耶律楚材的強(qiáng)烈反抗，最終不了了之。后來(lái)脫列哥那又頒布一系列法令支持奧都剌合蠻，而每次耶律楚材都給予反對(duì)意見，長(zhǎng)此以往，真乃皇后便對(duì)耶律楚材有了很大的反感，處處針對(duì)耶律楚材。耶律楚材在政治上空有一腔抱負(fù)，但卻無(wú)處施展。眼看著國(guó)家在脫列哥那的統(tǒng)治下法度不一，內(nèi)外交困，使得人民怨聲載道，官場(chǎng)上烏煙瘴氣。耶律楚材長(zhǎng)期郁郁寡歡，最終于公元1244年抑郁而死。

耶律楚材因與元乃真馬皇后的政見多有不同，屢遭迫害，抑郁難平，于1224年6月20日，逝世于蒙古高原，享年55歲。耶律楚材死后乃馬真后派近臣麻里扎查驗(yàn)家產(chǎn)，結(jié)果卻發(fā)現(xiàn)耶律楚材為官數(shù)十載甚至作為兩代皇帝重用的的大臣，家中只有琴阮十余，古今書畫、金石、遺文數(shù)千卷而已。真是一心為公，清正廉潔。

蒙古人民聽聞耶律楚材死訊之后也悲傷不已，紛紛用各自的行動(dòng)來(lái)表達(dá)對(duì)耶律楚材的敬重和懷念。

耶律楚材死后遵循他的遺愿，將耶律楚材的遺體運(yùn)回燕京故里，將他安葬在了玉泉山下的甕山泊(今昆明湖)之濱，并且與他的先去世的夫人進(jìn)行了合葬，并為之建廟立像。耶律楚材生前就十分喜歡玉泉山下的環(huán)境，他晚年號(hào)玉泉老人也正是因此得名。

耶律楚材祠是一所雙層套園，院中有三間北房都是祠堂，并且擺放著一張供桌。門前豎著一座石碑，石碑上刻著乾隆皇帝的御制詩(shī)，旁邊還立著一個(gè)石翁仲。三間北房里堆起一座幾米高的土紅色巨家，就是耶律楚材以及他的續(xù)弦夫人蘇氏合葬的墳?zāi)?。耶律楚材祠因時(shí)代變遷和歷史問題幾經(jīng)興廢。明代，由于中原人對(duì)于蒙古族的痛恨，耶律楚材祠遭到破壞，祠堂被毀，墳?zāi)贡荤P平，石人也被推倒砸壞。到了乾隆十五年，乾隆對(duì)耶律楚材的政績(jī)予以肯定，因此命人在原地重新修建祠堂，恢復(fù)墓地，并在中間供奉塑像，為其親筆題詩(shī)。到1984年，耶律楚材祠經(jīng)過修整后又重新開放，游人又可以來(lái)此處參觀憑吊。

耶律楚材祠的恢復(fù)與開放，是世人對(duì)于耶律楚材所作所為的一種肯定和贊賞，是對(duì)于歷史的一種認(rèn)可。