胡雪巖擁有資產(chǎn)近3000萬(wàn)兩白銀的家業(yè)，田地萬(wàn)畝。事業(yè)有成的胡某人顯露出“暴發(fā)戶”的淺薄和荒淫。他在生活方面極盡奢靡，處處顯露出那種趾高氣揚(yáng)的神氣。《胡光墉傳》記載：胡雪巖修建“第宅園囿，所置松石花木，備極奇珍。姬妾成群，筑十三樓以貯之。”也有資料說(shuō)“大起園林，縱情聲色，起居豪奢，過(guò)于王侯，驕奢淫逸，大改本性。”他耗巨資營(yíng)造的庭園被譽(yù)為“江南第一豪宅”。

胡雪巖酷愛(ài)女色，他經(jīng)常在街市上尋覓美色，看見(jiàn)有姿色的美麗女子，就請(qǐng)人說(shuō)和，身價(jià)再高也不計(jì)較，而且還會(huì)給女方的家人安排好差事。他仗著有財(cái)有勢(shì)，把冒犯他的女子娶回后再休棄，肆意侮辱良家女子。他強(qiáng)買民女，通常只過(guò)三五天或一兩個(gè)月，新鮮感一過(guò)不喜歡了就給銀數(shù)百兩，任其改嫁。據(jù)《見(jiàn)聞瑣錄》記載，遭到他喜新厭舊拋棄的“凡買而旋遣者，殆數(shù)百人。”

《南亭筆記》記載：有一天，胡雪巖穿著樸素的衣裳到一個(gè)妓女處。那妓女看胡雪巖的窮酸相以為沒(méi)多少油水，便懶得理他。只有一個(gè)老婦人殷勤招待了他。第二天，胡雪巖派人給老婦人送了兩包金葉子。妓女那叫后悔啊，讓老婦人跟著來(lái)人去請(qǐng)這位財(cái)神。胡也挺給面子，再度光臨，然而卻是徐庶進(jìn)曹營(yíng)一言不發(fā)，只是捻須微笑，嘲諷妓女有眼不識(shí)他這座泰山。

《莊諧選錄》載有：胡雪巖一次經(jīng)過(guò)一家裁縫店，見(jiàn)門口一個(gè)苗條女子很是上眼，就盯住多看了幾眼，那女子覺(jué)察之后，急忙關(guān)門進(jìn)入屋內(nèi)。胡雪巖的自尊心受到了傷害，于是派人拿巨資向其父親提親要納其為妾，女子之父見(jiàn)錢眼開(kāi)答應(yīng)了。胡雪巖擇日將這女子娶回，在新房里，胡雪巖自己喝著酒，然后讓新娘子裸體躺在床上，又讓仆人在一邊高舉著大蠟燭，他來(lái)回踱步看著這新人，放聲大笑說(shuō)：“前幾日你不讓我看，我偏要看。現(xiàn)在你還有什么辦法制止我？”說(shuō)完推門而去，到別的小妾房中過(guò)夜。第二天派人對(duì)這女子說(shuō)：“這間房中所有的物件都可以拿走，你可以改嫁他人，這里沒(méi)有你的位置。”

胡雪巖姬妾成行，號(hào)稱“十二金釵”，分住院內(nèi)長(zhǎng)弄中各樓，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的銀盤，胡雪巖隨手翻一個(gè)，侍女就按牌上名字叫這個(gè)姬妾侍寢，宛如皇上翻牌子一樣。胡雪巖每天早晨起床，由傭人端上用翡翠盤盛著的青黃赤白各色寶石若干枚，讓他“養(yǎng)目”。每日合家大小還要鷺序般的去上房恭請(qǐng)晨安。至于唱戲祈福，擺酒張?bào)郏瑹o(wú)不窮極奢華。胡雪巖喜歡和眾多的姬妾一起嬉戲、玩樂(lè)。他讓諸妾穿上寫著“車”“馬”“炮”字樣的紅藍(lán)馬甲，登到在高臺(tái)上畫好的棋盤，紅藍(lán)對(duì)峙，胡雪巖和夫人在欄桿后用竹竿指揮她們，“下活棋”。胡雪巖和姬妾一起過(guò)著肉林酒池、歡歌盛宴的奢靡生活。享樂(lè)縱欲無(wú)度，揮金如湯沃雪。派頭甚至超過(guò)了一些勤政節(jié)儉的皇帝。

胡雪巖雖聰明一世，在生意場(chǎng)上八面玲瓏如魚(yú)得水，但在官場(chǎng)上卻是個(gè)“低能兒”，政治上的“不成熟”，不諳官場(chǎng)規(guī)則，成為李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治斗爭(zhēng)的“犧牲品”。