陳俊年輕的時候在南陽郡擔任小吏，公元23年（更始元年），劉玄稱帝，陳俊的南陽同鄉、大漢宗室劉嘉被任命為太常將軍，劉嘉委任陳俊為他的長史。公元23年（更始元年）十月，更始帝劉玄派遣劉秀北上鎮慰河北諸州郡。劉秀到河北後四處招納人才，劉嘉就寫了壹封信，將手下的陳俊、賈復推薦給劉秀。陳俊到了劉秀軍中被任命為安集掾。
平定河北 當時，河北活躍著數十支農民軍，成為劉秀占據河北的主要障礙。公元24年（更始二年）秋，陳俊隨劉秀率軍進攻活動於清陽(今河北清河東南)等地的數十萬銅馬農民軍，銅馬農民軍敗退，兩軍再戰於蒲陽（今河北完縣），銅馬農民軍大敗而降。在這次戰役中，陳俊屢立戰功，蒲陽大戰之後，陳俊被劉秀拜為強弩將軍。擊破銅馬農民軍之後，陳俊隨劉秀北上，繼續追剿向北逃竄的尤來、五幡、大槍農民軍，農民軍壹路向北敗退，幸好原本活躍在青州的五校農民軍趕來增援。四部農民軍會師之後人數再度膨脹到四十萬以上。
恢復了元氣的農民軍在安次縣（今河北廊坊市西北）與漢軍展開大戰，在這場戰役中陳俊所部的對手是五校農民軍，在戰鬥中，陳俊下馬，手接短兵，所到之處敵軍必破，他率軍追奔二十余裏，斬殺了五校農民軍的大帥才率軍回營。劉秀望而嘆道：“如果我軍的將領作戰的時候都像陳俊這樣勇猛，我還有什麽可擔憂的呢！”
安次壹戰，在陳俊、馬武等漢軍將領的猛烈攻擊之下，農民軍再次敗退，五校農民軍向北退入漁陽郡，他們所到之處虜掠劫搶，收集糧草以備軍需。見到這種情況，陳俊向劉秀獻計，他說：“我軍應派輕騎兵穿插到賊軍的前面去，讓各地的百姓各自堅守壁壘，斷絕賊軍的糧食補給，這樣就可以不戰而殲滅敵人了。”
劉秀聽了以後，深以為然，他馬上派遣陳俊率領輕騎兵穿插到農民軍的前面去。見到百姓保守壁壘堅固完好的，就令其固守；放散在外的，就掠取過來。這樣壹來，農民軍除了遺存在野外的壹點糧食以外，再也搶不到任何東西吃，軍心大亂，被迫繼續北逃。
此戰之後，劉秀留下吳漢、陳俊等人繼續追剿農民軍，自己回師南下，臨走時他對陳俊說：“賊虜已不足為懼，使這些賊虜陷入困境的，是將軍的策略。”
劉秀回薊之後，陳俊與耿m、吳漢、景丹、蓋延、朱v、邳彤、耿純、劉植、岑彭、祭遵、王霸、堅鐔、馬武十三將軍繼續追擊農民軍殘部，在潞東、平谷，連續重創敵軍，斬首壹萬三千余級，最後壹直追到右北平郡的無終縣（今河北薊縣）、土垠縣（今河北豐潤東）、俊靡（今河北遵化西北），將農民軍殘部消滅得幹幹凈凈。
公元25年（建武元年）六月，劉秀稱帝，封陳俊為列侯。
劉秀即位之後，派遣建威大將軍耿m、驃騎大將軍景丹、強弩將軍陳俊去清剿厭新農民軍，兩軍在敖倉開戰，厭新軍戰敗投降。
公元26年（建武二年）春天，陳俊率軍去清剿匡縣農民軍，將其盤踞的四個縣全部攻下，隨後轉擊頓丘，所部三城不戰而降，陳俊連立戰功，劉秀十分高興，改封陳俊為新處侯。當年秋天，劉秀還下詔給統領全軍的大司馬吳漢拜陳俊為強弩大將軍。連受嘉獎的陳俊壹鼓作氣，又先後剿滅了流竄於河內郡的金門農民軍、白馬農民軍。
公元26年（建武二年）秋天，陳俊與景丹、吳漢、建威大將軍耿m、建義大將軍朱v、執金吾賈復、偏將軍馮異、左曹王常、騎都尉臧宮等擊破五校農民軍殘部於p陽，光投降的就有五萬多人。
征戰關東 劉秀平定河北之後，開始了統壹天下的征戰，首先他要消滅的是在他的東面的劉永、張步、董憲等關東割據勢力。陳俊參加了平定關東的壹系列戰役。公元27年（建武三年）春，劉秀命令吳漢率領杜茂、陳俊等南下攻打梁王劉永，將其大將蘇茂圍困在廣樂（今河南虞城北）。劉永部將周建率兵來救，兩軍接戰，漢軍大破敵軍，蘇茂、周建棄城突圍出走。吳漢留杜茂、陳俊守廣樂，自率大軍與蓋延將劉永圍困在睢陽（今河南商丘市）。不久，城中食盡，劉永被部將所殺。
公元28年（建武四年），陳俊、王梁隨吳漢清剿臨平的五校農民軍殘部，壹直追到東郡箕山。隨後分兵，陳俊單獨率 *** 攻汝陽及項縣，接著又攻拔了南武陽。
平定劉永之後，劉秀將目光轉向了太山郡（即泰山郡），當時太山郡（即泰山郡）境內有很多擁兵自重的地方勢力，他們多數都依附於割據濟南郡的張步，劉秀想要發兵占據太山郡（即泰山郡），大司馬吳漢對劉秀說：“只有陳俊才能平定此郡。”於是劉秀拜陳俊為太山太守，代理大將軍事。張步聽說之後，派遣其部將去攻打陳俊，雙方大戰於嬴下，陳俊大破其軍，壹直追到濟南郡的邊境，光是印綬就繳獲了九十多顆，隨後陳俊又率軍攻下郡內諸縣，平定了太山郡（即泰山郡）。
公元29年（建武五年），劉秀下令建威大將軍耿m率領太山太守陳俊、騎都尉劉歆去討伐張步。耿m、劉歆、陳俊率兵東進，從橋陽橋渡河。過河之後，漢軍連破敵軍，直逼張步的老窩劇縣（今山東昌樂縣西）。劇縣城高兵多，易守難攻，陳俊就對耿m說：“劇縣的賊兵強盛，我們可以暫時閉營休養士卒，以等待皇帝到來。”耿m沒有同意，而是繼續猛攻，最終張步投降。
鎮守東海 平定張步之後劉秀調任陳俊為瑯琊郡太守，領將軍事壹如過去。這時瑯琊郡還沒有平定，但齊地的人素來聽過陳俊的威名，所以陳俊壹到，盜賊就都解散了。公元29年（建武5年）6月，光武帝劉秀親征討伐割據東海郡的董憲，董憲、龐萌壹起逃到朐縣。
公元30年（建武6年），朐縣城中的糧食吃沒了，董憲、龐萌秘密率軍離開朐縣，計劃奪取贛@縣（屬東海郡），瑯邪太守陳俊察知率軍迎擊，董憲、龐萌大敗而逃，二人在逃亡途中都被殺了。隨後陳俊又乘勢進軍剿滅了朐縣的山寇孫陽，瑯琊郡從此平定。
公元32年（建武八年）夏，張步攜妻子逃奔臨淮，與弟張弘、張蘭商議招集他的舊部，乘船入海，陳俊得知後追擊並斬殺了張步。劉秀贊美其功，詔令陳俊得以專征青、徐兩州。
請伐隴蜀經過多年征戰，劉秀基本統壹了中國，只有西南還沒有平定，陳俊幾次上書自請，願意率軍去平定割據西南的隗囂和公孫述。劉秀因為需要他鎮守關東而沒有同意，劉秀在給陳俊的詔書中說：“東州剛剛平定，是大將軍的功勞。東州近海擾亂，是盜賊藏身之地，朝廷以此地為重憂，請暫且勉力鎮撫。”
公元37年（建武十三年），劉秀增加陳俊的食邑，定封陳俊為祝阿侯。
公元38年（建武十四年），劉秀征召陳俊回京奉朝請。
公元47年（建武二十三年），陳俊去世。
歷史評價劉秀：“戰將盡如是，豈有憂哉！”
《後漢書》：“俊撫貧弱，表有義，檢制軍吏，不得與郡縣相幹，百姓歌之。”
贊曰：“宮、俊休休，是亦鷹揚。”
徐鈞：“拒戰交兵勇有餘，旁人驚嘆更誰如。肅清海岱勛名立，不負劉嘉壹薦書。”
談遷：“耿純、陳俊料敵如神，每出而成克捷之勛，非中興良佐乎？”
後世地位漢明帝永平年間，明帝追憶當年隨其父皇打下東漢江山的功臣宿將，命繪二十八位功臣的畫像於洛陽南宮的雲臺，陳俊名列第十九位。
家族後裔兒子：陳浮，襲爵祝阿侯，後徙封為薪春侯。
孫子：陳專諸，陳浮之子，襲爵薪春侯。
曾孫：陳篤，陳專諸之子，襲爵薪春侯。
相關史籍 《後漢書》、《東觀漢記》有傳。《太平禦覽》、《資治通鑒》均有事跡記載。
文學形象 在《東漢演義》等通俗小說及民間流傳的評書、評話等民間曲藝之中，陳俊，字天生，是二十八星宿之中的畢月烏。陳俊手使壹條鑌鐵棍，智勇雙全。劉秀在白水村起兵之後，進攻胡陽城，守將韓滔拼命防守軍久攻不下，這時陳俊出場，他投軍到劉秀營中，獻上妙計，壹方面讓漢軍輪流攻城，使韓滔疲憊不堪，壹方面他混入城中，假裝投靠韓滔，趁韓滔困乏入睡之時，殺了韓滔，獻了胡陽，從此隨劉秀征戰四方，平定天下，被封為棘陽侯。