壹種說法是，這壹俗語源於王安石的故事：王安石的兒子王（上雨下方，pang陰平），早年辭世，他的妻子青年守寡，令築小樓居住。王安石出於對兒媳的關心，經常去探望她。而媳婦卻錯解了公公的意思，以為王安石心懷不軌，於是題詩於壁，以明心跡。王安石見了題詩，頗為尷尬，就用指甲扒去壁灰。這樣壹來，外間就有了“扒灰”的說法。
顯然，這種傳說是牽強附會的，很可能是政敵捏造出來用以汙蔑王安石的。
另壹種說法是：“爬灰”是諧音轉語。爬灰必汙膝，“汙膝”與“汙媳”諧音。這壹說法源於清代李元復《常談叢錄》：“俗以淫於子婦者為扒灰，蓋為汙媳之隱語，膝媳音同。扒行灰上，則汙膝也。”
這壹說法似乎可信。但仍難以自圓其說：“爬灰”在生活中是不大可能的事。而“扒灰”者，又何以必定汙膝呢？
清代王有光另有壹說。王氏在《吳下諺聯》中談到“扒灰”的來歷：過去，神廟遍地，香火特盛。為了敬鬼神，人們往往大量焚燒塗有錫箔的紙錢。日久天長，錫灰漸多，廟主將錫灰出售，倒能獲得好價錢。消息傳出，貪利之徒就往往到寺廟中偷扒錫灰。“扒灰”，偷錫也，錫、媳同音，以為隱語。
看來，王有光的解釋是有壹定的道理的。“扒灰”的目的是為了偷錫，而“錫”“媳”同音，“偷錫”轉為“偷媳”，這或是“扒灰”壹語的來源。