嘉靖二十九年（1551年）倭寇屢襲浙江沿海，譚綸受命任臺州（今浙江臨海）知府。在當地譚綸乃招募鄉勇千人，練兵禦倭；嘉靖三十六年（1557年），譚綸率兵在臺州大挫倭寇。嘉靖三十七年（1558年），倭寇再率數萬人侵擾臺州，譚綸再親率死士與倭寇大戰，三戰三捷，使軍威大振。
嘉靖四十二年（1563年），倭寇在福建沿海再度歸來，在邵武、興化壹帶大肆劫掠。譚綸受命任福建巡撫，並舉薦戚繼光、俞大猷等參與戰役。同年四月譚綸任總指揮，命戚、俞等分頭進攻，壹舉滅敵二千多人，收復興化。次年（1564年），倭寇再攻仙遊，譚綸親率戚繼光部增援，攻下仙遊，斬敵千余，迫使倭寇余部入海逃遁。
隆慶二年（1568年）譚綸獲任命為薊遼保定總督，負責京畿防務。他再度舉薦戚繼光協防，自居庸關到山海關，修建防禦臺三千座，使東北壹帶防務大大加強。據稱譚綸及其部下斬獲的敵人首級，數目達二萬壹千五百。
神宗即位，起用為兵部尚書。給事中雒遵彈劾其不稱職，譚綸三次上疏請求罷職，均獲朝廷降詔留用。萬歷五年（1577年）卒於官，年五十八。贈太子太保，謚襄敏。著有《說物寓武》二十篇軍事著作。