據(jù)《留青日札》記載，當(dāng)朱元璋打下江浙后，沈萬三與其弟萬四(沈貴)在兩浙豪富中首先輸糧萬擔(dān)，獻(xiàn)白金五千兩，以佐用度，“太祖軍食，多取資焉”。但是貪得無厭的朱元璋卻要“務(wù)罄其所有金”，想方設(shè)法來消耗他的家財(cái)。

據(jù)董谷《碧里雜存·沈萬三秀》記，有一次，朱元璋在月朔(即初一)日召見他，給他一文錢要他生利，從初二開始，一文取兩文，初三日取四文，初四日取八文，每天翻一倍，亦即按等比級數(shù)增長，以一月為期。

沈萬三不知就里，欣然接受。哪知回家一算，一月之后，該付給朱元璋利息為五億三千六百八十七萬九百十二文。按，洪武錢每一百六十文重一斤，則共計(jì)三千三百五十五萬四千四百三十二斤。沈氏雖富，但哪里經(jīng)得起這樣的盤剝？

除了巧取，還有豪奪。有一次，朱元璋召見沈萬三，要他每年“獻(xiàn)白金千鋌，黃金百斤”，還命他造六百五十間廊房，養(yǎng)數(shù)十“披甲馬軍”，并對他的田產(chǎn)每畝征九斗十三升的重稅。

沈萬三大概也明白樹大招風(fēng)的道理，所以想主動報(bào)效以保平安。明洪武六年(1373)前后，當(dāng)他得知京城(今南京)要筑城墻時，就主動承擔(dān)了修筑洪武門至水西門城墻的任務(wù)。

當(dāng)時的南京城墻全長三萬七千一百四十米，合七十四華里多，朱元璋的筑城計(jì)劃，僅造磚一項(xiàng)，便涉及一部(工部)、三衛(wèi)(駐軍，相當(dāng)于軍區(qū))、五省、二十八府、一百一十八縣，另有三個鎮(zhèn)。

而沈萬三一人負(fù)責(zé)的城墻，占整個工程量的三分之一，他以一家之力，是怎樣如期完成的？沒有人知道。

今南京水西門外，有座賽虹橋，相傳為沈萬三兒媳所建。明人記載，沈萬三建造數(shù)橋之后，很是得意，便在家中炫耀。誰知兒媳很不以為然，便用私房錢悄悄建了一座橋。該橋“工巧宏麗”，比公公所造之橋有過之而無不及，人們把它叫做“賽公橋”——兒媳尚且如此，可見沈家確實(shí)實(shí)力不凡。

沈萬三處于事業(yè)巔峰時，他的弟弟沈貴(萬四)已看到危機(jī)，曾寫詩勸他說：“錦衣玉食非為福，檀板金樽亦可休。何事百年長久計(jì)，瓦罐載酒木綿花。”要他低調(diào)做人，從事耕織，但沈萬三沒有聽從他弟弟的話，終于招來了滅頂之災(zāi)。

沈氏家族的沒落是個漸進(jìn)的過程。第一次打擊大約在洪武三年(1370)至六年(1373)。

朱元璋統(tǒng)一天下后，沈家的日子自然不好過。即便是沈萬三已經(jīng)不在人世，沈家也沒人充軍云南，但經(jīng)過這番折騰，沈家的財(cái)富也蝕減過半了。

再加上朱元璋建立明朝之初，對江南富民采取了嚴(yán)苛的政策，多次強(qiáng)制遷徙，并課以重賦，從此之后，沈家也就一蹶不振了。

第二次打擊是在明洪武十九年(1386)的春天，沈萬三的兩個孫子(沈旺之子)沈至、沈莊先后入獄。《故沈伯熙(莊)墓志銘》記：“洪武十九年春，兄至以戶役故，縲紲赴秋官，時伯熙亦獲戾京師，適與兄同系獄，入則抱其兄痛泣曰：‘吾兄素羸，不堪事，今乃至于斯耶！’既而伯熙先出，遂得疾甚，藥莫療……卒于京。”

沈至入獄的原因是逃避賦役，沈莊入獄則可能是涉嫌“胡黨”、逃避賦役而羈押至京，其事不小，連補(bǔ)帶罰，再加上兩兄弟最終都能出獄的上下打點(diǎn)，其數(shù)目也定在巨萬以上。

大約在同年，沈萬三的女婿陸仲和卻在劫難逃，被扣上“胡黨”的罪名滿門抄斬。

第三次打擊是在明洪武三十一年(1398)。

洪武二十六年(1393)，“藍(lán)黨”案發(fā)，藍(lán)玉被處死，株連則在全國蔓延。有一位叫王行的先生，曾兩次在沈家坐館，同沈家至少有三十年的交情，又兩次在藍(lán)玉家坐館，前后也有十多年之久。

通過王行的關(guān)系，想在新朝找到靠山的沈家同藍(lán)家也有了交往。“藍(lán)黨”案發(fā)后，有人勸王行逃遁，這位先生說：“臨難無茍免。”結(jié)果以同謀罪被誅。

當(dāng)時，沈萬三女婿顧學(xué)文因奪人之婦，仇家懷恨在心，藍(lán)玉事發(fā)后，仇家即以沈家同藍(lán)家的關(guān)系為據(jù)，誣告顧學(xué)文與藍(lán)玉通謀。在嚴(yán)刑逼供下，顧學(xué)文招認(rèn)曾收到藍(lán)玉“鈔一萬五千貫”，為他購置糧米、綢緞等物，用來準(zhǔn)備起事和賞人。

《弘治吳江志》載：案情牽涉他的“妻族沈旺、沈德全、沈昌年、沈文規(guī)、沈文矩、沈文衡、沈文學(xué)、沈文載、沈海，凡八人。”其中沈旺是沈萬三的兒子，其他人等也都是沈萬三的子孫。

《周莊鎮(zhèn)志卷六·雜記》記：“洪武三十一年二月學(xué)文坐胡藍(lán)黨禍，連萬三曾孫(沈)德全六人，并顧氏一門同日凌遲。”同日被殺的還有八十多人。

《乾隆吳江縣志·舊事》載有胡藍(lán)黨犯人沈德全一家的處置細(xì)節(jié)：二月十八日載：“正黨與戶下戶丁多著折了臂膊，未出動的小廝不打，且牢著他。供出的田口家財(cái)斷沒了。”

二月二十日載：“正黨與戶下戶丁都凌遲了，十歲以上的小廝都發(fā)南丹衛(wèi)充軍，十歲以下的送牧馬所寄養(yǎng)，母隨住;一歲至三歲的隨母送浣衣局，待七歲送出來。”——真可謂慘不忍睹！

沈萬三苦心經(jīng)營的巨大家業(yè)，就這樣急劇地衰落了。