張沖霄生於1927年，河北張家口人。上世紀五十年代，他在張家口新華書店搞圖書發行工作，是當地的文藝活動積極分子。最初嘗試表演“活報劇”，自編、自導、自演，熱情參與群眾宣傳演出。他第壹次登臺演出的獨幕劇《今朝有酒今朝醉》，在全市職工匯演中獲獎。1957年張家口市文化館成立張家口工人業余話劇團。他在話劇《同甘***苦》中飾演男壹號孟時荊，獲得極大成功。
1958年，張沖霄考入長影演員訓練班。1960年在影片《昆侖鐵騎》中扮演偵察排長魏剛，從此開始銀幕生涯。之後他又相繼扮演了影片《冬梅》中的遊擊隊長大光、《爐火正紅》中的徐隊長、《甲午風雲》中的“致遠艦”舵手、《冰雪金達萊》中的遊擊隊長張景財、《兵臨城下》中的大個子兵、《路考》中的司機大於、《特快列車》中的餐車主任等角色。之後，他參加了《自豪吧，母親》、《吉鴻昌》《人到中年》、《赤橙黃綠青藍紫》、《花園街五號》等影片的拍攝。還曾在譯制片《看不見的戰線》中為安全部長配音。
1960年起，出演20余部長影影片，壹生多飾演配角。但在影片《冰山上的來客》中，他因成功地塑造了機智、沈穩、勇敢的壹班長給觀眾留下永不磨滅的印象。
《冰山上的來客》中***有三位班長，性格各異，其中張沖霄飾演的壹班長是最為沈穩內斂的壹個，就像老大哥壹樣，他是楊排長最得力的助手，也令觀眾不由自主地對他產生依賴。《冰山上的來客》中最為感人的壹個場面，就是由張沖霄呈現的——那就是“壹班長壯烈犧牲變成冰雕”的場景，每當《懷念戰友》的歌聲響起，很多觀眾腦海中都會浮現出壹班長那高大偉岸的身影。
此外，張沖霄還在《流淚的紅蠟燭》《花園街五號》等影片中擔任制片主任。2019年，張沖霄榮獲第十七屆中國電影表演藝術學會“特別榮譽獎”。