對建文帝忠心耿耿的徐耀祖，則成為了建文帝的左膀右臂，他在朝中為建文帝出謀劃策，甚至還親自率領軍隊上戰場廝殺，後來在朱棣南下時，徐輝祖又率軍阻擊朱棣，並且成功在宿州靈璧的齊眉山打敗了燕軍，可以說是驍勇善戰，令人嘖嘖稱奇。
之後，朱棣渡江攻打南京，徐輝祖依然率軍進行抵抗，可是當時的朝廷軍隊已經被朱棣的燕軍擊潰，最終大勢已去之後，徐輝祖並沒有投降，而是回到了自己父親的祠堂，拒絕迎接朱棣繼任為新的皇帝。
徐輝祖也被朱棣親自抓來審問，只不過徐輝祖壹言不發，只是提筆在紙上寫下“中山王開國功臣子孫免死”的字樣。
朱棣也知道，朱元璋曾經對壹些開國功臣給予過丹書鐵券的免死令，同時，也念及徐輝祖是自己妻子的親弟弟，最終並沒有將他賜死，而是革去了爵位和俸祿，幽禁在了自己的私宅當中。
後來，徐輝祖在四十多歲的時候離開了人世，有人說是被逼自殺，也有人說是積郁成疾而病死的，對此眾說紛紜，歷史也沒有給出壹個明確詳細的記載。