徽州有諺語說：前世不修，生在徽州，十三四歲，往外壹丟。是真實的寫照。由於山地眾多，田地極少，所以徽州人家無法養活自己的子孫，男孩子到了13、4歲就會外出學徒，學不成不能歸家的。這就是古代聞名的“徽商”的起源了。所以徽州人胡適之先生有句話叫著“無徽不成鎮”。
由於少小離家，徽商是重利而輕離別的，在外尋花問柳，家裏卻有發妻苦熬。當地有“壹世夫妻三年半”的說法，就是說做徽州人的妻子，壹輩子加起來只有3年半的時間在壹起，這話經過好事者多次考證，證明壹點也不假。三年半之外的時間呢？徵州女人只能是獨守空房，不敢越雷池壹步的，因為她們頭上有壹頂重重的帽子，壓得她們喘不過氣來，這就是把孔子儒學思想發揮到極致的“程朱理學”。