宋王朝的建立，結束了自唐末而形成的四分五裂的局面，使中國又歸于統一并逐漸進入中國經濟、文化、科技的鼎盛時期。唐朝最盛時有五千多萬人口，宋朝人口最盛時突破一億。宋人有曰：“生民以來，能濟登茲者，未有如大宋之隆也。”

在宋朝建立之初，為使宋王朝能長治久安，而不致成為繼五代后的第六個短命王朝，北宋王朝除了制定了一系列的政策方針，大力實施“強干弱枝”政策之外，還致力于結束五代十國的分裂割據局面，特別是當宋太宗聽說，當時仍被北漢統治的晉陽出過好幾個皇帝，是個“龍城”之后，更是親自帶兵攻下太原城，并火燒太原城，再水灌太原城……

太原古稱晉陽，它西依懸甕山、東臨汾河水，地勢十分險要，城堡十分堅固。晉陽城城池堅固，唐以后的五代，這里幾度被一些野心軍閥作為割據稱雄的堡壘，稱王稱霸，自立為帝。太原經歷了后唐、后晉、后漢、北漢等幾個王朝。

979年，宋太宗親率大軍，來到太原城下指揮攻城。晉陽城高大堅固，使得宋軍損失慘重，內外馬步軍都軍頭王廷義，殿前指揮使部虞侯石漢卿陣亡，大將李漢瓊、荊嗣、呼延贊、韓起重傷，以下將士傷亡者更多不勝數。當時，主要是由于宋已統一中原，平定南方，傾全力攻晉陽一城，晉陽孤城難守，北漢主才不得已降宋。自此，北漢十州全部歸入宋的版圖。五代十國時期最后一個分裂的小王朝被消滅了。

太原城被攻破之后，宋太宗趙光義決定平毀太原城，這是出于多方面考慮的。首先是晉陽城城池堅固，易守難攻，宋軍強攻晉陽造成損兵折將，損失慘重，故宋太宗決心徹底平毀晉陽城以消心頭之恨。其次是當時的李唐是從晉陽起兵而奪取天下，到唐末五代一些割據者又據晉陽爭奪天下，或抗衡中原王朝，望氣者認為晉陽有王者之氣，這是宋太宗要嚴加防范的。再次是宋太宗繼位時，多有道教人物相助、道教附會天象認為：宋起之地為歸德(今河南商丘市)屬于“商星分野”，而太原則屬于“參星分野”，自古參商不相見，這樣，當中央政權強盛時，太原地區最后才服從，而當中央政權衰弱時，太原則將最先叛亂，因此，不宜把太原列為方鎮，應當降低它的等級。

鑒于上述原因，宋太宗決定平毀太原城，讓居民遷往汾水東的新城，把新設立的并州府遷到榆次。居民出城后，宋太宗下令放火，“萬炬皆發，宮寺民舍，一日俱盡”。第二年四月，宋太宗又封堵汾水、晉祠水，灌入太原。古太原城經此火燒、水灌，變為一片廢墟。往日被譽為“錦繡太原城”，并已逾千年的大都會便不復存在了。

太原舊城被毀后，宋太宗又命將太原治所從榆次遷到唐明鎮(即今太原市)。逃出城的百姓逐漸聚集到這里定居下來。由于此處地理位置十分重要，982年(宋太平興國七年)，宋太宗趙光義派三交都部署潘美在唐明鎮的基礎上，擴大范圍，修筑城墻，興建太原城。宋初修建的太原城是一座土城，城池周長5.28公里。筑四門：“東曰朝曦;南曰開遠;西曰金肅;北曰懷德。城西南至現迎澤大街北邊，西至現新建路東邊，后小河、東后小河是當時北面東邊的城壕。據說趙宋在新修太原城街道時，都筑成丁字街，取其諧音，“釘”破“龍脈”，使太原不再出現“真龍天子”，危及趙宋天下。并忌諱使用“晉陽”、“太原”名稱，而設為緊州軍事，派潘美、楊業把守。

金代詩人元好問《過晉陽故城書事》在講到此事時說：“南人鬼巫好機祥，萬夫畚鋪開連岡。官街十字改丁字，釘破并州渠亦亡。”舊的晉陽城平毀了，但太原的戰略地位并沒有變，當時遼據大同，建遼契丹又為游牧民族，其騎兵可以隨時南下太原，太原街道修成“丁”字形對阻遏遼騎兵的馳騁是起了積極作用的。