《在太行山上》的創作背景是：“七七事變”爆發後，桂濤聲以戰動總會工作人員的名義去山西省陵川縣犧盟會民眾幹部訓練班。
當時，八路軍的3個師正建立敵後抗日根據地。桂濤聲到街頭演說，壹時間，陵川到處是控訴日本侵略者而義憤填膺的人群，到處是爭相參加八路軍的熱血青年。
陵川自衛隊由300多人迅速擴編為1000多人，出現不少“母送兒，妻送郎”參軍的感人場面。在隨遊擊隊轉戰陵川的過程中，桂濤聲目睹了太行王莽嶺的“千山萬壑”後，又親身感受到了抗日軍民才是真正的“銅壁鐵墻”；
觸景生情，醞釀半年的詩篇《在太行山上》從心底迸發了出來，他隨手寫在香煙包裝紙上。5月，桂濤聲離開太行山，6月返回武漢，即帶著歌詞去見冼星海。
冼星海當時在周恩來、郭沫若領導國民政府軍事委員會政治部第三廳任音樂科主任，主持音樂抗戰工作。1938 年 6 月的壹天晚上，桂聲濤找到冼星海，請他為太行山區的戰友們譜壹只隊歌。
冼星海接過桂濤聲寫在煙盒上的歌詞，仿佛看到太行軍民浴血奮戰的身影。坐在鋼琴前，冼星海反復琢磨、構思，連夜將歌詞《在太行山上》譜寫成壹首兼有抒情性和進行曲風格的二部合唱曲。
歌曲影響
壹、傳遍敵後抗日根據地
1938年7月，《在太行山上》由張曙、林路、趙啟海等在武漢紀念抗戰壹周年歌詠大會上唱出，迅速傳遍大後方及各敵後抗日根據地，鼓舞和激勵著千千萬萬的抗日民眾奔赴戰場。
二、朱德抄錄歌詞帶身上
朱德總司令聽到這首展示人民戰爭壯美圖畫的歌曲後，十分喜歡。他要求八路軍總部機關人人會唱《在太行山上》，還把《在太行山上》歌詞抄錄下來，隨身攜帶。