歐陽修活了66歲，做了42年的公務員，一生三次被貶，兩次與范仲淹有關，還曾兩次遭遇緋聞。

第一次被貶是在1030年5月。當時范仲淹上《百官圖》，批評宰相結黨營私，任人不唯賢，結果反遭誣陷，貶至饒州。歐陽修對范仲淹主張改革、為政清廉向來尊重，公開發表言論表示支持，結果也被貶到湖北夷陵。第二次被貶是在1045年秋，與范仲淹“慶歷新政”失敗有關。第三次被貶是在1067年，英宗去世，神宗即位。國喪期間，歐陽修內穿紫襖，被御史彈劾，貶，知亳州。

歐陽修遭遇緋聞，起于第二次被貶前。1043年，青年皇帝仁宗親政，面對內憂外患，他號召群臣出謀獻策，改革吏治。范仲淹提出的十項改革方案，得到仁宗的贊賞。短短幾個月，范仲淹就被提升為參知政事，擔任副相。在“慶歷新政”推行過程中，越來越尖銳地觸及既得利益者，譬如裁減冗員、懲治腐敗，必然引起保守派的強烈反對。有人攻擊范仲淹搞派系斗爭，利用少壯派打擊元老派，鬧得仁宗不知如何收場。次年6月，西北邊事吃緊，仁宗正好趁機讓范仲淹去守邊。11月，進奏院的劉巽和蘇舜欽召集文人聚會，說了一些不該說的話，被人舉報，仁宗大怒，批捕數十人，史稱“奏邸獄”。

1045年新年剛過，杜衍被罷相，富弼被免職，推行“慶歷新政”的主要人物作鳥獸散。歐陽修不識時務，公開為改革派鳴怨叫屈，惹仁宗不悅。但仁宗惜歐陽修之才，不想拿他怎么樣。此時歐陽修的朋友田況由真定改任秦州，仁宗就讓龍圖閣直學士、河北都轉運按察使歐陽修臨時代理真定府事宜。可是，一個險惡的陰謀正在向他襲來，始作俑者就是諫官錢明逸。

錢明逸嫉恨歐陽修，說出來令人啼笑皆非。據《錢氏私志》載：歐陽修“后修《五代史·十國世家》，痛毀吳越，又于《歸田錄》中說文僖數事，皆非美談。從祖希白嘗戒子孫，毋勸人陰事，賢者為恩，不賢者為怨。”也就是說，歐陽修在參與編纂《新五代史》時，貶斥了錢氏的祖宗，即吳越國王錢氏家族。

錢明逸將誣告歐陽修私吞財產的狀紙遞到開封府。開封府尹楊日嚴閱狀而竊喜，因為他主政益州(今成都)時，大肆斂財，貪污官銀，曾遭到歐陽修彈劾，一直懷恨在心，這下正好撞到他槍口上。狀紙經開封府遞達朝廷，宗仁即刻著人調查。結果查無證。但錢氏家族并不就此罷休，換了一種方式攻擊歐陽修，制造了“盜甥”和“私從子婦”的緋聞。

“盜甥”事件是誣陷歐陽修與外甥女通奸。歐陽修妹妹嫁張氏不久便守寡，張氏前妻遺一女，歐陽修可憐她們，將她們接到家里撫養。其外甥女長大成人后，嫁與歐陽氏遠房侄子歐陽晟，但她不守婦道，與家仆私通，被人告發。后受人利用，屈打成招，竟然說歐陽修和她有亂倫，還欺占了她娘家的財產——有人事先用張氏的家財購買田地，落在歐陽修名下。顯然這是一起有預謀的政治斗爭，目的就是置歐陽修于死地。

盡管仁宗皇帝不相信歐陽修會做出如此傷風敗俗之事，并多次作出批示，表明態度，但人言可畏，何況那些人不依不饒，仁宗只好將歐陽修貶到滁州。到滁州后，歐陽修還是比較樂觀的，游山玩水，賦詩作文，如散文《醉翁亭記》、七古詩《菱溪大石》等，幾乎看不出他有什么失意的牢騷。可是，“盜甥”緋聞被小人四處傳播，如影隨形，歷時長久，歐陽修心情豈能不受影響。

“盜甥”事件之后，那些小人又編造出“私從子婦”的緋聞，說歐陽修與兒媳亂倫——宋司馬光《涑水紀聞》言：“士大夫以濮議不正，咸疾歐陽修，有謗其私從子婦者。御史中丞彭思永、殿中侍御史蔣之奇，承流言劾奏之。之奇仍伏于上前，不肯起。詔二人具語所從來，皆無以對，俱坐謫官。先是之奇盛稱濮議之是以媚修，由是薦為御史，既而攻修，修尋亦外遷。其上謝表曰：‘未乾薦禰之墨，已彎射羿之弓。’”

經歷兩次緋聞的打擊后，歐陽修心灰意冷，淡薄仕途，多次要求退休。1071年，歐陽修辦好退休手續后，回到安徽潁州，次年與世長辭。