余子俊，字士英，青神人。父親余祥曾任戶部郎中。景泰二年余子俊考中進士，授予戶部主事官職，升為員外郎。在戶部十年，以清廉有才幹而著稱。後調離戶部任西安知府，遇到災年，他打開糧倉取出十萬石糧食救濟貧民，償還時區別對待，做到官府不受損而百姓得到救濟。
成化初年，主管部門上報政績突出應當受到表彰的官員，知府有十人，而余子俊位居第壹。由於林聰推薦，他被任為陜西右參政，壹年多後提升為右布政使。六年(1470)，轉為左布政使，調任浙江，剛剛半年，授他右副都禦史官職，巡撫延綏。
在這以前，巡撫王銳從長遠考慮請求沿邊境築墻建堡，工程還未動工就被否決了。余子俊上疏說“：三邊只有延慶平坦開闊，利於驅馬急馳。寇屢次入侵，俘獲邊民做向導，壹直進入河套駐紮放牧。從此寇竟居於塞內，我們反而屯於塞外，在沿邊築墻建堡是當務之急。況且現在舊界石還在，高山多懸崖陡壁，依照山形，隨著地勢，有的鏟削，有的壘築，有的挖壕溝，延綿相接，形成邊墻，這對於邊墻工程來說較為方便。”尚書白圭以陜西百姓正貧困，奏請緩興工程。不久寇進入孤山堡，又入侵榆林，余子俊先後與朱永、許寧壹起擊敗寇賊。
這時，寇占據河套，連年派遣大軍征討，沒有什麽實際效果。成化八年(1472)秋，余子俊說：“現在征討河套的兵馬駐紮在延綏的有八萬，牲口飼料靠內地，如果今年冬天敵寇不向北退卻，又需要準備下壹年的軍需供應。姑且用今年的數額約略估計，米豆需銀九十四萬兩，草料需銀六十萬兩。每人運米豆六鬥、草四束，應該動用四百零七萬人，大約花費用八百二十五萬兩。公私冗雜繁亂到這種地步，怎能不改變謀劃！臣先要求築墻建堡，詔書說要等事情安定後再進行，請求於明年春夏敵寇人馬疲乏時，役使陜西運糧百姓五萬，供給食物，興建工程，要求兩個月完工。”白圭仍然堅持他的意見，阻撓興建工程，皇帝認為余子俊說的對，下令迅速進行此項工程。
余子俊先因軍功升為左副都禦史，第二年，又因搗毀紅鹽池巢穴有功，升為右都禦史。由於巢穴被搗毀，賊寇因此遠徙，不敢再在河套居住。內地憂患漸漸平息，余子俊就全力興建工程。東起清水營，西抵花馬池，連綿壹千七百七十裏，鑿崖築墻，又在其下挖濠溝，壹直連綿不絕。每隔二三裏建置..望臺、崖柵以便巡視警戒。又在崖柵空處築矮墻，橫壹斜二如箕狀，用來..望和避箭。總***建築城堡十壹個、邊墩十五個、小墩七十八個、崖柵八百壹十九個，動用士兵四萬人，不到三個月就完工了。墻內的土地全部分給軍隊屯墾，壹年收獲糧食六萬石有余。成化十年(1474)閏六月，余子俊向朝廷壹壹稟報工程之事，因為母親年老懇求回鄉，朝廷安慰挽留他，沒有批準他返鄉的請求。
當初，綏德州是延綏鎮的地方官署所在地，所轄米脂縣、吳堡縣都在鎮外，敵寇用輕騎進來劫掠，等鎮兵發覺而去追擊，總是追趕不上，敵寇往往得利而去。自余子俊將鎮遷徙到榆林，增加守衛，擴大城墻安署軍隊，攻守器械都俱備逐漸成為重鎮，敵寇來掠奪次數漸漸少了，軍民得以平安耕種放牧。
成化十二年(1476)十二月，余子俊調撫陜西，在他任西安知府時，曾因了解到居民為水質含堿發苦不能飲用而發愁的情況，他鑿渠引入城西贑河的河水，解決人民的飲水問題。時間長了渠水往外漫而無法排泄，此時，他主持在城西北開鑿渠道排水，水渠流經漢代舊城到達渭水。對國家和百姓更加有利，號稱余公渠。又在涇陽鑿山引水，灌溉農田千余頃。打通到南山的道路，直達漢中，方便來往的旅客。對於毀塌破舊的學校、公署全部補修壹新。上奏章免除岷州、河州、洮州三衛的戍守，南方的兵卒壹萬多人。更換了南北輪戍的兵卒六千多人，讓他們各自戍守本土。岷州栗林羌反叛，子俊埋伏軍隊突然出擊，將其擊敗逃走。
成化十三年(1477)，朝廷召還余子俊任兵部尚書。他上奏章申述明確條例十項，又列立軍功懸賞等級，由此朝廷內外有章可循。緬甸酋長蔔刺浪企圖奪取思洪發、貢章地，找借口向朝廷要求。子俊說不能答應，朝廷諭止了蔔刺浪奪地的企圖。貴州巡撫陳儼等因為播州苗人暗中起事，請求調湖廣、廣西、四川兵五萬，會同貴州兵壹起圍剿。子俊說賊在四川，而貴州請求征討，是為邀功，上奏章止息這件事。當初，子俊疏論陳鉞擊殺進貢的夷人之罪，憲宗由於汪直的緣故寬恕陳鉞。陳鉞在汪直面前多方陷害余子俊，時逢余子俊因母親去世回家守喪，才免遭陷害。
余子俊建造的榆林邊鎮城墻，有人懷疑用沙土建造容易倒塌，敵寇來不能依靠。到成化十八年(1482)，寇入侵內地，許寧等追逐的敵寇被城墻濠溝所困，四處亂跑而出不了城，於是被打得大敗，邊鎮的人更加思念子俊的功勞。
三年服滿，憲宗授他戶部尚書，不久加封太子太保。成化二十年(1484)，兼任左副都禦史，總督大同、宣府的軍務。這年冬天返回朝廷。第二年正月，星相有變異，余子俊陳述時弊八種，憲宗大多采納。沒多久，又到邊境巡視。
當初余子俊巡視宣府大同兩鎮，要求以延綏邊墻法在兩鎮推行，因年成歉收而停止。到這次他又巡視邊境，他堅決要推行，他說東起四海治，西抵黃河，連綿壹千三百余裏，舊有墩壹百七十個，應增建四百四十個，墩高寬都是三丈，估計需要勞動人手八萬六千人，幾個月可以完成。憲宗下詔書同意第二年四月開工，然而到了那個時候，年成不好，國家和百姓都不寬裕，陡然興建大工程，上下都感到困難。子俊又想責成邊臣去完成，而自己不親自管這件事，由此招來毀謗和議論。到冬天，他上疏請求還京，憲宗聽信謠言，改任他為左都禦史，撫巡大同。宦官韋敬進讒言說子俊借修邊墻侵吞財物，又彈劾他以私人恩怨換將帥。兵部侍郎阮勤等為他辯白，憲宗發怒，責備阮勤等。而給事中、禦史又紛紛呈上奏章彈劾，宦官大半想搞垮子俊。工部侍郎杜謙等前往調查，按實事情況公平地對待，返京向朝廷奏報換置將帥是同阮勤說的情況相符，沒有侵吞建邊墻的費用。然而花費銀壹百五十萬兩、米豆二百三十萬石。耗費財物，勞動百姓，不能說沒有罪。於是削去太子太保職，退休回家，這時是成化二十二年(1486)二月。
第二年正月，兵部缺尚書，憲宗醒悟到子俊無罪，又召他回來任職，仍加封太子太保。明孝宗繼位，因余子俊是先朝老臣，對他更加尊敬。弘治元年(1488)，他上疏陳述十件事，完後又陳述邊防七件事，孝宗大多同意實行。第二年，余子俊病重，還親自撰寫奏稿，陳述救荒息盜的辦法。剛剛得到朝廷的允準就去世了，享年六十壹歲。追贈太保，謚號肅敏。
子俊深沈、剛毅，寡於言詞，有謀略。凡是奏章疏議公文，必定親自起草。每天到半夜才睡，他曾說：“大臣為國，應當不考慮自身利害關系，怎能躲避埋怨換取恩惠，為保全自己作考慮？”因此榆林邊墻工程才開始，怨言誹謗眾起，子俊態度更堅決，終於大功告成，有利於後世幾代人。余子俊孝順父母、友愛兄弟，為母喪守服時，要兒子余蜫不參加會試，他說“：雖然律令上無這條，但我於心不忍。”本當蔭庇封兒子官職，他改為蔭庇封弟弟官職。