1947年，針對我劉鄧大軍千裏躍進大別山的戰略意圖，蔣介石調王敬久率國民黨第二兵團的整編三十二師、整編六十六師、整編七十師等重兵集結魯西南，企圖消滅劉鄧大軍或迫使他們退回黃河以北。自7月2日起，劉鄧大軍先後進行了鄆城之戰、菏澤之戰、定陶之戰和巨野獨山集、六營集之戰等戰鬥，至7月中旬，將王敬久的整編三十二師和整編七十師全殲，並將敵人最精銳的整編六十六師合圍。
在魯西南戰場，國民黨整編六十六師師長宋瑞珂屢屢同劉鄧大軍“過招”，雖沒有占到多少便宜，但也沒有受到多大的損失。被劉鄧大軍合圍後，國民黨第二兵團司令長官王敬久命令他突圍，但宋瑞珂很自信，認為“有我們‘釘’在這裏，劉伯承就不敢南竄”。於是他利用山東金鄉城西北30裏處的羊山作為制高點，與山下集鎮的民房構成核心陣地，準備憑借有利地形，負隅頑抗到底。
1947年7月13日，劉鄧大軍掃除了羊山外圍陣地後，當天就組織重兵攻打羊山。劉伯承和鄧小平決定拿出陳再道的二縱和陳錫聯的三縱兩支精銳主力作為主攻部隊，東西兩路同時向羊山發起攻擊。但戰鬥打響後，敵六十六師守軍配合得相當好，導致我攻山部隊前進受阻，在付出重大傷亡後，於7月14日拂曉被迫撤出戰鬥。
此後，我二縱和三縱對兵力火力重新做了調整和部署，於17日晚再次發起攻擊。羊山有三個突出山峰，居民稱東峰為“羊頭”，中峰為“羊身”，西峰為“羊尾”。我三縱八旅二十二團雖然攻上了“羊頭”，但由於山頂石堅土少，無法構築工事，天壹亮，全團兵力便暴露在敵人守軍的火力之下，無法立足，只好又撤出戰鬥。我二縱的十九團主攻“羊尾”，情況與三縱相似，雖然攻上了“羊尾”，但天亮後遭到敵人炮火轟擊，也不得不撤出戰鬥。
7月19日，劉鄧大軍投入了三個縱隊的兵力，第三次向羊山發起沖擊。但由於連降暴雨，導致部分地區水深超過兩米，我攻山部隊再次受挫，有十幾個旅團幹部負了傷。7月20日天亮前，劉伯承命令部隊撤出戰鬥。
自羊山戰役打響之後，宋瑞珂就發電向南京“表功”。蔣介石也給宋瑞珂發來祝捷電報，電報稱：“屹立羊山集的是宋將軍，穩住魯西南局勢的也只有宋將軍。”此外，蔣介石更不斷催促顧祝同調集重兵馳援，7月19日，蔣介石更飛臨河南開封，親自督促部隊馳援羊山。然而，國民黨各路援軍唯恐鉆進劉鄧大軍圍點打援的“口袋”，大多行動遲緩。
劉伯承、鄧小平權衡再三後認為，這次如果不把敵整編六十六師殲滅，我軍隨後的南進壹定會遭到該部的瘋狂追擊。況且各路援敵尚在行進途中，完全有迅速消滅羊山守敵的把握。劉伯承鼓勵將士們說：“蔣介石送上來的肥肉，我們不能放下筷子!”“別看有蔣介石在開封親自坐鎮，我們也壹定會啃下這塊硬骨頭。”接著，劉、鄧調整了作戰部署，加強炮火，並使我方兵力上達到了局部優勢。
部署完畢後，劉伯承和鄧小平立即親臨羊山集前線，指示陳錫聯、陳再道要親自到前沿查看地形，仔細分析壹下為什麽攻不下來，並與指戰員壹起研究新的打法，以期盡快把敵人消滅。二縱司令員陳再道總結了前三次攻山的得失後，向首長建議，二縱和三縱最好能統壹指揮。劉、鄧首長接受了這壹建議，將三縱也交予陳再道臨時指揮。陳再道當場立下軍令狀：下次如果不能活捉宋瑞珂，我就解甲歸田。劉伯承和鄧小平隨即決定：7月26日對羊山發動總攻。但7月25日夜裏又下起大雨，壕溝裏灌滿了雨水，掩體工事被沖垮，總攻計劃只好推遲到27日。
7月27日下午6時30分，我軍首先開始炮擊。炮擊進行了40分鐘後，我攻山部隊突破了敵人的壹道道強固防線，從四面八方向羊山山頂湧來。敵人拼命頑抗，敵我雙方都付出了大量傷亡。
27日晚12時，“羊腰”等制高點被我軍占領，宋瑞珂多次進行反撲，均被打退。我軍在山峰上居高臨下，火力網控制了山坡和羊山集，把敵整編六十六師分割包圍。
宋瑞珂急切要求援軍迅速趕到。蔣介石還特意派飛機投來他的親筆信。信中寫道：“羊山苦戰，中正聞之憂心如焚。望吾弟轉告部下官兵暨諸同誌，目前雖處於危機之時，亦應固守到底，援軍日馳夜騁，不時即到，希弟信賴上帝庇佑，爭取最後五分鐘之勝利。”然而，與蔣介石和宋瑞珂的願望相反，敵援軍王仲廉部7月25日明明已經到了距羊山僅僅100多裏的定陶縣冉固集，但他怕鉆進劉伯承的“口袋陣”，結果每天只讓部隊走10華裏。而敵王敬久部雖近在咫尺，但並不肯接近羊山壹步，只是不停地發給宋瑞珂即將趕到的電報。對此宋瑞珂哀嘆道：“戰不勝，守不固，非吾之罪也。”到28日中午，羊山的所有制高點都已被突破，宋瑞珂知道大勢已去，便下令放棄抵抗。至此，羊山戰役勝利結束，國民黨整編六十六師2萬多人被全殲，宋瑞珂也做了俘虜。
戰役結束後，我劉鄧大軍揮戈南進大別山，直搗國民黨統治的核心地區，標誌著中國人民解放軍由戰略防禦轉入戰略進攻的正式開始。為紀念此次戰役，劉伯承賦詩壹首：“狼山戰捷復羊山，炮火雷鳴煙霧間。千萬居民齊拍手，欣看子弟奪城關。”
敵整編六十六師師長宋瑞珂，山東青島人，黃埔軍校第三期步科畢業，曾參加了平定滇桂軍閥楊希閔、劉震寰的叛亂以及東征和北伐戰爭。抗戰爆發後，歷任國民黨第十四師副師長、第十八軍壹九九師師長、第九軍副軍長、第六十六軍軍長，先後參加過淞滬抗戰、武漢會戰、棗宜會戰、常德會戰等對日戰鬥。抗戰勝利後，第六十六軍改編為整編六十六師，宋瑞珂任師長。該師系蔣介石的黃埔嫡系精銳，配置壹流的武器裝備，和張靈甫的整編七十四師比起來，除編制配額略少外，裝備和戰鬥力壹點也不遜色。宋瑞珂被俘後，先後在解放軍教導大隊和監獄學習、改造，1960年11月28日，被最高人民法院特赦釋放。“文革”後先後被選為中國國民黨革命委員會監察委員、上海黃埔軍校同學會會長和上海市政協委員。1995年逝世，享年88歲。