晉祠其實現在已經不能把它統稱為唐叔虞祠，唐叔虞祠依然還在，在晉祠的北側，晉祠就是唐姓總祠堂。晉祠是晉水的發源地，晉祠在北魏前就已經開始修建了，是為了紀念周武王第二個兒子唐叔虞，而修建供奉他的。唐叔虞是唐姓的一位始祖，唐叔虞死后，他的兒子燮繼位，因為有晉水，所以把唐國改名為晉國，所以叫晉祠，也可以叫唐祠。

關于唐叔虞，《史記·晉世家第九》中記載，邑姜夢到天對武王講：“余命女生子，名虞，余與之唐”，后來邑姜生子，手中有文“虞”字，便取名為“虞”。武王崩，成王立，唐地反叛，被周公誅滅。成王年幼時曾與叔虞戲耍，削桐葉為珪，交給叔虞，說道：“以此封若”，史官聽到后，請成王擇日立叔虞。成王說：“吾與之戲耳”。史官說：“天子無戲言，言則史書之，禮成之，樂歌之”，于是就把叔虞封到了唐。因唐地有晉水，叔虞子燮改國號為晉。這就是著名的“剪桐封弟”的故事。

宋代之前，晉祠就是指唐叔虞祠，而且其位置就在今日之圣母殿。《水經注·晉水》載：沼西際山枕水有唐叔虞祠。宋太平興國九年趙昌言撰《新修晉祠碑銘并序》載：況復(唐叔虞祠)前臨池沼，泉源鑒澈于百尋;后擁危峰，山岫屏開于萬仞。整個晉祠內，唯有今日之圣母殿的位置能夠符合這兩個文獻的描述。到了元代至元四年(1267年)弋彀撰《重修汾東王廟記》時，唐叔虞祠已經改在今日坐北朝南的方向上了。唐叔虞究竟為何失去了在晉祠的主神位？

一種可能的解釋是，唐叔虞其實是一個有“前科”的神。隋大業十三年(617年)，李淵任太原留守，郡丞王威、武牙郎將高君雅為副，時逢隋朝江山風雨飄搖，狼煙四起。是年，馬邑校尉劉武周據汾陽宮舉兵反隋，李淵與王威、高君雅商議將集兵平叛，此時李淵已早有奪取天下之心，于是命李世民與劉文靜及門下客長孫順德、劉弘基去招兵買馬，不到半個月，李世民便募集了一萬兵馬，李淵又遣密使召建成和元吉二子來到太原。王威和高君雅見形勢不對，唯恐李淵造反，便想借請李淵赴晉祠祈雨的機會拿下他。晉陽鄉長劉世龍得知此事，密告李淵。五月，李淵將此二人斬首之后，在唐叔虞祠下誓師，第二年奪取了長安。唐貞觀十九年(645年)，李世民重回晉陽，次年詣晉祠，寫下不朽名篇《晉祠之銘并序》，這通碑如今還保存在晉祠博物館的唐碑亭內。唐叔虞固然沒有辜負李淵的期望一路保佑他順利地奪取了天下，但自己也背上了一個保佑造反的惡名。但如果認為趙宋朝廷是因此將唐叔虞請走的，那何以在重修晉祠的時候沒有想到這一層，甚至在太平興國碑中，仍舊不遺余力地稱頌唐叔虞“澤及民生”之德呢？

太平興國四年(979年)正月，趙光義經過充分籌備，第三次下河東。四月二十日，趙光義親抵晉陽城下，駐馬“汾東行營”(今太原市晉源區龐家寨東北，也就是后來的平晉縣所在)，親自督軍日夜不息攻打晉陽。五月，馬步軍都指揮使郭萬超降宋，城內糧草斷絕，人心渙散。五月初五日，劉繼元終于納表投降。但晉陽的苦難并沒有就此結束，劉繼元投降之后，晉陽百姓還在繼續抵抗，尤其是民間的習武組織“弓箭社”更是給宋軍制造了不小的麻煩，老百姓甚至拿磚頭瓦塊攻擊宋軍。趙氏兄弟費盡心機和氣力打下晉陽，本就怒火難平，百姓的抵抗更是火上澆油。趙光義大罵晉陽人是“盛則后服，衰則先叛”的頑民，竟然下令將晉陽所有百姓驅逐出城，在五月十八這一天，一把大火將千年古城化為灰燼。老幼不及出城焚死者甚眾。

第二年，趙光義再次引汾、晉二水灌晉陽廢墟，終于連廢墟的痕跡也沒有留下。宋朝將太原府治移到北面20公里的唐明村，也便是現在的太原市，同時在“汾東行營”邊上筑起一個周邊不過四里的小城平晉縣，禁止當地百姓返回晉陽故城居住，并將趙光義指揮作戰時駐扎過的行營改建為統平寺，后來真宗趙恒將其改名為崇圣寺，立“崇圣寺碑銘并序”碑于寺中，夸耀其平定北漢之功。平晉縣城建成70多年，晉陽人仍舊不肯進去居住，更多的人流落到河南等地。而那個帶有示威意味的統平寺也因多次被人暗中燒毀，終于罷祀了。趙光義攻下晉陽之后，還仿照李世民的《晉祠之銘并序》在晉祠立了一通“新修晉祠碑銘并序”碑，俗稱“太平興國碑”。傳說這塊碑的碑文被當地人逐字逐句地鑿掉了，現在晉祠勝瀛樓下立著一通光禿禿的“無字碑”，據說就是當初的“太平興國碑”。太原縣從明至清共五個版本的縣志，只有嘉靖《太原縣志》錄了這通碑文，其他縣志對此只字不提。而唐叔虞也正是在北漢被征服之后的最初這段時間被請出了正殿。