抗戰(zhàn)期間，蔣介石去成都，在楊森家里逗留半日，他發(fā)現(xiàn)楊森家里進(jìn)進(jìn)出出的婦女不少，深感驚訝，便問(wèn)楊森：“這些都是你的妻子嗎？”楊森朗聲回答：“報(bào)告委員長(zhǎng)，屬下身體很好！”蔣介石大笑。

楊森主持四川政務(wù)時(shí)，連農(nóng)民進(jìn)城挑糞也要抽稅。西南聯(lián)大師劉師亮特作一聯(lián)諷刺說(shuō)：“自古未聞糞有稅，而今只有屁無(wú)捐。”橫批是：“民國(guó)萬(wàn)稅(歲)”。四川軍閥楊森斂財(cái)手段五花八門，通過(guò)投資地產(chǎn)、開(kāi)辦公司、販賣煙土等賺錢。他在英、美和日本的銀行都有巨額存款。重慶、漢口、上海等地有豪華的公館，富得冒油。這些錢財(cái)正是他玩弄異性、滿足淫樂(lè)的資本。

楊森，字子惠，原名淑澤，又名伯堅(jiān)，他一生追求洋氣和新潮，同時(shí)，還是民間秘密組織袍哥會(huì)的一名舵主。

楊森在國(guó)民黨軍閥中，以妻妾成群，兒女眾多而出名，他公開(kāi)的妻妾有12位，子女共有43人。

楊森的第一夫人是其發(fā)妻張氏，這是典型的父母之命，媒妁之言。成婚之初，倆人感情甚篤，張氏孝順體貼公公婆婆，善待小叔小姑，又能勤儉持家，在楊家內(nèi)外口碑甚好。后來(lái)，楊森考入成都陸軍速成學(xué)堂后，張氏暴病身亡。

1908年，楊森從軍校畢業(yè)后，遵從父母意愿，續(xù)弦廣安老家的譚正德填房。譚氏為其育有長(zhǎng)子、長(zhǎng)女。楊森妻妾成群后，譚氏被冷落，獨(dú)自守著廣安老家偌大的宅院，孤影清燈，以92歲高齡謝世。

張靈鳳，臺(tái)灣新竹人。楊森年近90歲時(shí)，以招募秘書(shū)為幌子，將這位17歲的中學(xué)生弄進(jìn)府中，完成了他人生的最后一次姻緣。

面對(duì)如云的妻妾，成群的子女，為了杜絕妻妾爭(zhēng)寵，楊森采用平衡原則，與眾多妻子睡覺(jué)的時(shí)間安排，楊森采取所謂的“輪宿制”，而且，為了不至于發(fā)生錯(cuò)亂引起紛爭(zhēng)，他特派一名副官專門安排時(shí)間表，一切按表操作。

有一次，楊森在湖南督戰(zhàn)，當(dāng)天正輪到與留在成都的夫人同宿，這位副官跑來(lái)請(qǐng)示當(dāng)天可不可“輪空”，等回成都后再補(bǔ)上。楊森考慮再三，為了不亂套，特別報(bào)告戰(zhàn)區(qū)司令官薛岳，派出專機(jī)飛往成都把他的那位夫人接過(guò)來(lái)，睡一晚然后返回成都。一旦妻妾懷孕，即憑醫(yī)生證明領(lǐng)取五千元生活費(fèi)，倘使順利產(chǎn)下子女，則可領(lǐng)取存于國(guó)外銀行的補(bǔ)助費(fèi)兩萬(wàn)元。同時(shí)，還可以為子女領(lǐng)取一份豐厚的田產(chǎn)。

楊森自己隨心所欲、放蕩不羈，而對(duì)妻妾卻管束甚嚴(yán)。為了維持家庭秩序，他治家如整軍，采用軍事化管理，分工明確，各有專司，無(wú)一賦閑，每人每月還領(lǐng)薪水若干。稍有觸犯，便會(huì)遭到楊森無(wú)情的鞭笞。對(duì)于這些，楊森頗為自得，他多次向其他軍閥介紹經(jīng)驗(yàn)，大言不慚地說(shuō)：“我實(shí)行的是軍事化管理，不然那屋子人，咋個(gè)鎮(zhèn)得住嘛。”

在眾多的軍閥中，楊森經(jīng)歷了辛亥革命、護(hù)國(guó)戰(zhàn)爭(zhēng)、軍閥混戰(zhàn)，抗日戰(zhàn)爭(zhēng)等歷史時(shí)期，最后逃到了臺(tái)灣，以九十六歲高齡壽終正寢。