民國17年5月3日，日本侵略軍在濟南制造“五三慘案”。余亞農奉命率部防守黃河大橋，與日本軍第6師團齋藤旅團發生激戰，官兵雖有重大犧牲，但終於保住了大橋。同年，奉軍被驅逐出關後，蔣介石“編遣國會”， 1929年1月，國民革命軍各部縮編。89師被縮編為44師131旅，余亞農任旅長，調駐安慶集賢關。8月，余亞農調任45師134旅旅長。9月，方振武因反對所謂的“編遣”，被蔣介石軟禁於南京。蔣介石欲將45師師長鮑剛與第6師師長方策對調，鮑剛不服，在蕪湖起兵反蔣，余亞農聞訊後，於安慶北門外集賢關營園客廳，將奉蔣命前來“點編”的嫡系部隊第26路總指揮兼第6師師長方策扣押，率所部開進五祖山，樹旗反蔣，終因眾寡懸殊而失敗，方策收編45師殘部，接任師長。余亞農流亡上海。
蔣閻馮中原大戰爆發後，余亞農乘船去天津轉鄭州，被馮玉祥委為豫皖邊區第1路軍司令，活動於中原。後因內部不團結，該部為蔣介石分化瓦解。余亞農重返上海。
“九·壹八”事變後，王亞樵秘密組織鐵血鋤奸團，以鋤殺漢奸、日軍特務為己任，並發動工人、學生、市民抵制日貨，檢查奸商。余亞農在團中分工負責政治，專事抗日宣傳，並調查了解日諜、漢奸情況，以作為打擊對象。民國22年5月，余亞農參加馮玉祥領導的抗日同盟軍，任援助沽源及多倫的預備隊司令。同盟軍在蔣介石的進攻下失敗解散，馮玉祥去泰山，余亞農回到上海。同年冬，福建事變發生，余亞農星夜趕往福州，被委為29路軍總指揮。但該軍未成立，事變便告失敗，余亞農又回上海繼續從事秘密反蔣活動。民國24年11月1日，孫鳳鳴於國民黨四屆六中全會上刺傷汪精衛，引起全國震動。戴笠親自帶人去香港要求港方引渡王亞樵等人。余亞農與鄭抱真等人伴王亞樵自水路出逃，經西江直駛廣西梧州李濟琛圩子。
1936年8月，余亞農受李濟琛領導的民族革命大同盟委托與張獻廷持密信去延安，聯系反蔣，受到了周恩來、李克農的熱情接待，毛澤東、朱德還親自為他餞行。在他返回梧州時，王亞樵已被蔣幫特務所暗殺。
1938年春，余亞農任皖北人民抗日自衛軍第5路指揮。因余亞農與新四軍第6支隊司令員彭雪楓合作較好，遭國民黨內反***頑固派忌恨，同年冬自衛軍為廣西軍黃瑞華、蒙若剛部包圍繳械。余亞農被逮捕後，經安徽省民眾總動員委員會及社會人士營救始獲釋，在淮北經商耕地，以資糊口。李品仙、廖磊數次說其出山，均遭拒絕。