據《留青日札》記載，當朱元璋打下江浙后，沈萬三與其弟萬四(沈貴)在兩浙豪富中首先輸糧萬擔，獻白金五千兩，以佐用度，“太祖軍食，多取資焉”。但是貪得無厭的朱元璋卻要“務罄其所有金”，想方設法來消耗他的家財。據董谷《碧里雜存·沈萬三秀》記，有一次，朱元璋在月朔(即初一)日召見他，給他一文錢要他生利，從初二開始，一文取兩文，初三日取四文，初四日取八文，每天翻一倍，亦即按等比級數增長，以一月為期。沈萬三不知就里，欣然接受。哪知回家一算，一月之后，該付給朱元璋利息為五億三千六百八十七萬九百十二文。按，洪武錢每一百六十文重一斤，則共計三千三百五十五萬四千四百三十二斤。沈氏雖富，但哪里經得起這樣的盤剝？

除了巧取，還有豪奪。有一次，朱元璋召見沈萬三，要他每年“獻白金千鋌，黃金百斤”，還命他造六百五十間廊房，養數十“披甲馬軍”，并對他的田產每畝征九斗十三升的重稅。沈萬三大概也明白樹大招風的道理，所以想主動報效以保平安。明洪武六年(1373)前后，當他得知京城(今南京)要筑城墻時，就主動承擔了修筑洪武門至水西門城墻的任務。當時的南京城墻全長三萬七千一百四十米，合七十四華里多，朱元璋的筑城計劃，僅造磚一項，便涉及一部(工部)、三衛(駐軍，相當于軍區)、五省、二十八府、一百一十八縣，另有三個鎮。而沈萬三一人負責的城墻，占整個工程量的三分之一，他以一家之力，是怎樣如期完成的？沒有人知道。

今南京水西門外，有座賽虹橋，相傳為沈萬三兒媳所建。明人記載，沈萬三建造數橋之后，很是得意，便在家中炫耀。誰知兒媳很不以為然，便用私房錢悄悄建了一座橋。該橋“工巧宏麗”，比公公所造之橋有過之而無不及，人們把它叫做“賽公橋”——兒媳尚且如此，可見沈家確實實力不凡。沈萬三處于事業巔峰時，他的弟弟沈貴(萬四)已看到危機，曾寫詩勸他說：“錦衣玉食非為福，檀板金樽亦可休。何事百年長久計，瓦罐載酒木綿花。”要他低調做人，從事耕織，但沈萬三沒有聽從他弟弟的話，終于招來了滅頂之災。

沈氏家族的沒落是個漸進的過程。第一次打擊大約在洪武三年(1370)至六年(1373)。朱元璋統一天下后，沈家的日子自然不好過。即便是沈萬三已經不在人世，沈家也沒人充軍云南，但經過這番折騰，沈家的財富也蝕減過半了。再加上朱元璋建立明朝之初，對江南富民采取了嚴苛的政策，多次強制遷徙，并課以重賦，從此之后，沈家也就一蹶不振了。

第二次打擊是在明洪武十九年(1386)的春天，沈萬三的兩個孫子(沈旺之子)沈至、沈莊先后入獄。《故沈伯熙(莊)墓志銘》記：“洪武十九年春，兄至以戶役故，縲紲赴秋官，時伯熙亦獲戾京師，適與兄同系獄，入則抱其兄痛泣曰：‘吾兄素羸，不堪事，今乃至于斯耶！’既而伯熙先出，遂得疾甚，藥莫療……卒于京。”沈至入獄的原因是逃避賦役，沈莊入獄則可能是涉嫌“胡黨”、逃避賦役而羈押至京，其事不小，連補帶罰，再加上兩兄弟最終都能出獄的上下打點，其數目也定在巨萬以上。大約在同年，沈萬三的女婿陸仲和卻在劫難逃，被扣上“胡黨”的罪名滿門抄斬。

第三次打擊是在明洪武三十一年(1398)。洪武二十六年(1393)，“藍黨”案發，藍玉被處死，株連則在全國蔓延。有一位叫王行的先生，曾兩次在沈家坐館，同沈家至少有三十年的交情，又兩次在藍玉家坐館，前后也有十多年之久。通過王行的關系，想在新朝找到靠山的沈家同藍家也有了交往。“藍黨”案發后，有人勸王行逃遁，這位迂腐先生說：“臨難無茍免。”結果以同謀罪被誅。

當時，沈萬三女婿顧學文因奪人之婦，仇家懷恨在心，藍玉事發后，仇家即以沈家同藍家的關系為據，誣告顧學文與藍玉通謀。在嚴刑逼供下，顧學文招認曾收到藍玉“鈔一萬五千貫”，為他購置糧米、綢緞等物，用來準備起事和賞人。《弘治吳江志》載：案情牽涉他的“妻族沈旺、沈德全、沈昌年、沈文規、沈文矩、沈文衡、沈文學、沈文載、沈海，凡八人。”其中沈旺是沈萬三的兒子，其他人等也都是沈萬三的子孫。《周莊鎮志卷六·雜記》記：“洪武三十一年二月學文坐胡藍黨禍，連萬三曾孫(沈)德全六人，并顧氏一門同日凌遲。”同日被殺的還有八十多人。