根據郭澄清同名小說改編。民國初年元宵節，佃戶梁寶成帶領眾鄉親闖進龍潭街大鬧元宵節，反抗地主賈保軒強迫長工佃戶為他家披麻戴孝辦喪事，梁寶成因此遭到迫害，他的兒子梁永生被迫流浪他鄉，鐵匠門大海將其收養。
壹天，他們到龍潭街打鐵，遇到了賈保軒。梁永生報仇心切，拿了門大海的壹把寶刀夜闖賈府，被管家馬鐵德發現，梁永生放了壹把火後逃了出來。
門大海贊揚梁永生有窮人的骨氣，便將自己那把從太平天國壹位英雄傳下來的寶刀送給了他。梁永生接過寶刀，立誌為天下的窮人報仇。
20年後，梁永生回到了家鄉寧安寨，此時，他已經和門大海的女兒翠華成了親。
家鄉仍是地主當道。賈保軒的兒子賈玉圭濫收治河捐而不治河。夏天，運河河水泛濫，滿目災情，民不聊生。
梁永生手持大刀帶領鄉親二闖龍潭，找賈玉圭算帳，卻遭到國民黨縣保安隊的鎮壓，梁永生只得又壹次逃離家鄉。
梁永生東奔西闖，終於來到革命聖地延安，參加了八路軍。在訴苦會上，梁永生悲痛地講起大刀的來歷和自己的遭遇，引起營教導員王大江的註意，原來他是門大海的弟弟。
梁永生被派到臨河區擔任區長。他又回到寧安寨，領導鄉親們揭露了賈玉圭欺壓百姓破壞抗日的真面目，並以臨河區民主政府的名義，責令賈玉圭按中國***產黨抗日救國十大綱領規定的合理負擔政策交納救國公糧，實行“二五”減租。
賈玉圭暗中勾結日寇，要把糧食送給鬼子，並設下圈套，妄圖逮捕梁永生。
梁永生發動群眾，成立大刀隊，同敵人展開奪糧鬥爭。
教導員王大江也被派到縣裏擔任縣委書記。梁永生帶領運糧隊，三闖龍潭，活捉馬鐵德，打開了糧倉。
王大江帶領八路軍縣大隊在運河邊伏擊了前來運糧的日寇汽艇。在黨的領導下，臨河大刀隊正式成立了。