楊森在國民黨軍閥中，以妻妾成群，兒女眾多而出名，他公開的妻妾有12位，子女***有43人，其荒唐畸形的婚姻分外引人註目，在人世間曾蒙上千古之謎 。
楊森的第壹夫人是其發妻張氏，這是典型的父母之命，媒妁之言。成婚之初，倆人感情甚篤，張氏孝順體貼公公婆婆，善待小叔小姑，又能勤儉持家，在楊家內外口碑甚好。後來，楊森考入成都陸軍速成學堂後，張氏暴病身亡。楊森青年喪妻，很是傷痛，發跡後便讓妻弟張元培來到二十軍，充當了壹位軍需官，算是緬懷亡妻的壹種補償。
楊森1908年從軍校畢業後，遵從父母意願，續弦廣安老家的譚正德填房。譚氏為其育有長子、長女。楊森妻妾成群後，譚氏被冷落，獨自守著廣安老家偌大的宅院，直至1976年以92歲高齡謝世。
第三個老婆名為劉谷芳，雲南祿豐人。1913年，楊森混跡在滇軍中，替長官黃毓成在昆明的安寧溫泉監造別墅。劉谷芳之父劉柱卿亦是當日施工現場的小頭目，因見楊森軍人氣質濃，便將女兒嫁給楊森。在楊森飛黃騰達後，劉柱卿先後出任過二十軍駐武漢、成都辦事處處長和軍長代表。不過劉柱卿的女兒卻沒父親那麽幸運了，抗戰時，劉谷芳因患肺病而卒。
第四個老婆便是楊府十二釵中地位最高，家境最好，深得楊森寵愛的田衡秋。1920年，楊森因出賣滇軍利益，在劉湘的支持下得以返回四川，擢升為川軍第九師師長。壹次，他率部進駐閬中時，在大街上與田衡秋迎面相遇。但見該女子嫵媚嬌艷，心中頓掀波瀾，當即騎馬徐徐相尾，知道確切住址和家庭情況後，便派手下大張旗鼓地前去說媒。這時，田衡秋已有婚約，況且田家經商多年，是遠近聞名的殷實大戶，根本不願讓女兒做妾。田父遂壹口回絕。楊森並不死心，壹面極力討好田衡秋，壹面對田家軟硬兼施。次年，楊森又被北洋政府任命為瀘永鎮守使，他更加有恃無恐，田家被鬧得不可開交，只得將女兒送給楊森。田父不久便離開人世。田衡秋畢竟出身於商販世家，為人大氣精明，理財持家頗有招術，又能揣摩楊森內心，自然而然便成了楊森的管家太太，深得寵愛。抗戰時，楊森在重慶的“渝舍”借與何應欽、陳誠、毛人鳳等國民黨中央人員居住的機會，她陪同楊森壹同接洽應酬。
1949年，田衡秋帶著楊森多年斂集的財富先行逃往臺灣，足見楊森對她的信任。不過，田衡秋未過幾年，前往香港探親時，因突發腦溢血引起半身偏癱達二十年之久，楊森漸漸將她冷落壹邊。田衡秋晚年的生活、治病全靠美國的女兒擔負，才得以走完痛苦的後半生 。
第五個老婆蕭邦瓊，則是楊森長駐瀘州時，依靠同樣的手段將這位部屬之女納入府中，蕭父本為楊森在滇軍任團長時的秘書，壹個典型的戎裝書生。壹次，赴楊森家宴時，蕭父帶上女兒隨行。敬酒時，楊森眼中大放光彩，如長輩壹樣摸著蕭邦瓊的頭贊嘆道：“幾年不見，小姑娘長這麽大了，模樣周正得很呢。”壹位善於搖尾逢迎的下屬瞥見這壹幕，便鼓動如簧之舌說服蕭家將女兒嫁與了楊森。蕭邦瓊原本就生得艷麗照人，加之自幼入新式學堂念書，又做過教師，頗有文化。比之田衡秋，她表現得更為乖巧、應對接洽，極有分寸，更重要壹點，她不似田衡秋世故、虛矯和故意作態，這在楊森看來，就顯得格外純凈，當然就十分鐘愛。1931年，蕭邦瓊由瀘州上船時，行至江中，因船覆溺水身亡 。
陳順容是其第六妾，壹個粗眉大眼的典型的廣東女子。原本為三姨太劉谷芳的貼身丫頭，15歲，為楊森酒後亂性奸汙，後收為妾。由於語言、性格之故，陳順容畏畏縮縮，不善承歡，是“十二釵”中最不受楊森喜愛的壹個。稍有不慎，便會被楊森用馬鞭抽得體無完膚，陳順容飽受刺激，後來得了精神病，被楊森差人用鐵鏈綁著送回廣安鄉下。中***建政後病死於重慶。
第七個老婆曾桂枝，貴州畢節人。據說，她是楊森妻中身材最好的壹個，本是楊森養女。早年，楊森率部入黔，在畢節收容了壹個無家可歸的小姑娘，交由屬下代為撫養。流光催出玉人來，不曾想見，幾年後，當年那個蓬頭垢面、孤苦無助的小女孩竟然出落得亭亭玉立，楚楚動人。後來交由劉谷芳當丫環，改名為楊家桂。家桂而不“嘉貴”，楊森每日見了這位健康活潑、豐滿秀挺的養女，禁不住淫心蕩漾。不久，他撕下偽裝，全然不顧人倫道德，在田衡秋等的幫助下，迫不及待地為14歲的曾桂枝“破了瓜”。隨後煞有介事地圓了房。曾桂枝天生機敏，求知上進，楊森便為她請了家庭教師，幾年後又不惜血本送往上海、北京等地求學。據說楊森支持曾桂枝求學的目標是為了將來能帶她帶入社交場所。然而，曾桂枝在上海讀書時，情難自禁，大膽追求新生活，與同班陳姓同學相戀。楊森得知後，大為惱怒，設計將二人槍殺於渠縣的荒郊野外 。
第八妾汪德芳是成都人。她是“十二釵”中同楊森最大膽決裂的壹個。汪德芳之父原為楊森二十軍軍部秘書，為人謹小慎微。被無恥小人強行說合，被迫將女兒嫁與了楊森。汪德芳當時年僅15歲，尚在念中學。成親後，楊森準予她繼續求學，並送至上海國立音樂學院就讀。汪德芳學成歸來後，在楊森創辦的成都天府中學任校長，成了社會名流，當選過國民黨“國大代表”。但和楊森關系形同冰炭，幾乎不往來，連所生小孩也改姓汪。
文革期間，因楊森之故，汪德芳被逼自殺於樂山 。
第九妾為瀘縣蔡文娜。她是“十二釵”最為美艷，最為楊森愛，最為楊森恨，同時又是命運最為悲慘的壹個。蔡文娜在瀘縣女子中學上學時，被譽為“校花”，芳名遠播。其超凡脫俗的氣質、逼人的嬌艷，令人催眉折腰。楊森聞知後，特地趕去壹見，大為心儀。當即便差人強行說合，蔡父本是個追名逐利的落魄書生，根本不顧及女兒的幸福，連忙答應下來，將14歲的女兒送入虎口，換回了夢寐以求的名利。當別人切齒他違背倫常的舉動時，蔡父居然大言不慚地說：“紅粉贈佳人，美女配英雄，雖然是九姨太，但大小也是軍長太太。”
蔡文娜天生麗質，媚態襲人，又是見過世面的人。婚後，深得楊森寵愛，每每帶著她出入大型場合，引來眾人艷羨不已，極大地滿足了楊森的虛榮心。後來，與曾桂枝壹樣，蔡文娜在成都上大學時，和同學呂某相戀。事情泄露後，被楊森殺害。
第十妾鄭文如，重慶南岸裕華紗廠的普通女工。楊森擔任國民黨貴州省主席時，手下有位醫官系鄭文如遠房堂舅，壹心想當軍醫處處長。得知楊森又準備娶小納妾時，醫官跑回重慶，說動鄭文如家人，將鄭文如帶至貴陽，精心打扮後，送與楊森。楊森壹高興，就委任這名醫官為軍醫處處長。
鄭文如當時年僅17歲，經歷了蔡文娜、曾桂枝的變故後，楊森將她帶至身邊，形影不離。後來，鄭文如患肺病，容顏大改，楊森將其棄之壹旁。1949年後，鄭文如留在重慶，嫁了壹名普通工人 。
第十壹妾胡潔玉為楊森家仆之女。胡父胡應忠替楊森打點廣安祖屋幾十年，交情不淺。胡潔玉14歲，到重慶求學，住在楊森家，楊森眾多的子女都稱她為胡“妹妹”。60多歲的楊森看上了胡潔玉，胡應忠當然不答應，匆匆帶著女兒回了廣安。楊森追回胡應忠老家，將胡潔玉強行帶回重慶並娶進了府中。胡應忠受不了鄉鄰指指戳戳遠走他鄉，後不知所終，胡潔玉則被楊森帶去臺灣，成了“十二釵”中繼田衡秋之後，惟壹帶去臺灣的妾。
在楊森86歲時，她生下壹女，後帶著女兒遠赴美國留學。現定居美國。
第十二妾張靈鳳，臺灣新竹人。楊森年近90歲時，以招募“秘書”為幌子，將這位17歲的中學生弄進府中，完成了他人生的最後壹次姻緣 。
面對如雲的妻妾，成群的子女，楊森偎紅倚翠，這在局外人看來，似乎是神仙過的日子。然而，楊森和他的十二釵並不是水乳交融。為了杜絕妻妾爭寵，楊森采取平衡原則，在每個老婆處輪流住宿三夜。壹旦妻妾懷孕，即憑醫生證明領取五千元生活費，倘使順利產下子女，則可領取存於外國銀行的補助費兩萬元。同時，還可以子女的名義領取壹份豐厚的田產。
楊森在四川軍閥中斂財手段很高，歷年來通過投資地產、開辦公司、販賣煙土，賺的錢無法數計。他在英、美和日本的銀行都有巨額存款。重慶、漢口、上海、瀘州則有豪華的公館，富比王公。這些錢財正是他的資本。
楊森自己隨心所欲，而對於妻妾卻管束甚嚴。他有名目繁多的家規，如規定每個早上必須早起，統壹著軍裝，紮腰帶，由壹名副官帶隊出操。風雨無阻。吃過早飯後，還有嚴格的作息時間的正課，要學古文，學英語，彈鋼琴，不得無故缺席曠課。稍有觸犯，便會遭到楊森鞭笞，謂之曰打“滿堂紅”。對於這些，楊森頗為自得，他多次向其他軍閥介紹經驗，大言不慚地說：“我實行的是軍事化管理，不然那屋子人，咋個鎮得住嘛。”從某種意義上講，美麗對於女人而言，無異於抱璧藏禍。楊森的第七妾曾桂枝與第八妾蔡文娜殊途同歸的悲慘命運便是明顯的例證。倆人由於美艷驚世，引來眾多的尋芳客，情難自禁，導致紅杏出墻，深為楊森所惡，最後被設套處死。在曾桂枝20歲時，楊森花重金將她送至上海讀了大學。原本性情活潑的她已無多少羈絆，許多男同學傾慕那近乎完美的身材，媚態襲人的容顏，紛紛與之交往。日久生情，曾桂枝和壹位陳姓同學由此相戀。從未體驗過愛情的曾桂枝無所顧忌。她和戀人成雙成對，出入舞廳，卿卿我我，儼如壹對恩愛夫妻。事不機密，這些情況被楊森安插在上海的耳目偵知。於是，怒火中燒的楊森便將曾桂枝催回了渠縣防區。臨別時，曾桂枝與戀人抱頭痛哭。陳姓同學將壹枚家傳的戒指戴在了她手上，還拜托她在楊森處謀份差事。就這樣，曾桂枝回到渠縣，並帶回了戀人的照片。更有甚者，倆人鴻雁傳書，完全忘記了危險的存在。楊森設法偷看了二人的信物，曾桂枝卻全然不知，壹次席間，居然央求楊森替這位陳姓同學謀個工作。楊森壹聽，正中下懷，他將計就計，不露聲色地說：“這等小事有啥難的。給妳同學寫信，我讓他當渠縣的教育局長。”曾桂枝當即便飛鴻傳書，邀請戀人來到渠縣。倆人就此踏上壹條不歸的黃泉路。那位毫不知情的陳姓同學壹跨入渠縣境內，行至壹處名為鯉魚橋的地方時，便被楊森的憲兵隊設伏，用冷槍打死，暴屍荒野。
殺死二人後，楊森仍不解恨。他又派兵將二人縛上巨石，沈入渠江。對此，楊森認為：“不守婦道，沒辦法，那我也就舍得下手。”
比之曾桂枝，蔡文娜的結局則更為悲慘。蔡文娜原本出身於書香門第，被楊森納妾後，繼續在瀘州上中學。楊森對這位光艷照人的絕世美女寵愛有加，並希望她能繼曾桂枝之後，替自己在社交場爭壹份榮光，遂不惜工本培養她，特地請來壹名家庭教師為其補習英語。
這位家庭教師亦是少年多情，倆人逐漸產生了感情。不久，事情為楊森所知，他將蔡文娜五花大綁，又讓其他姨太太站在壹旁，打算來個“三堂會審”，眾多姨太太壹並跪下哀告。楊森用馬鞭狠狠鞭打了壹頓，算是暫時放過了蔡文娜。數年後，蔡文娜在成都華西大學社會系就讀時又與牙醫學院的學生呂某相識，蔡文娜再度墜入愛河。她打定主意先與楊森離婚，再與呂某結婚。楊森得知後，命人秘密殺了蔡文娜。
為了殺壹儆百，楊森集合起妻妾壹同來到現場，命她們仔細觀看。楊森又命人前去刺殺呂姓同學，然而呂某已得知消息，逃往了外國。而蔡文娜的姐姐蔡文其許久沒有妹妹的音訊後，跑來重慶打探，楊森嘆了口氣，悠悠地說：“跑了，跑到英國去了。”蔡文其張愕著嘴，正欲發問，楊森皺了皺眉，說道：“我準備委妳丈夫去當縣長。”