徐達是朱元璋最倚重的武將，他用兵如神又行事謹慎。在朱元璋建立明朝的戰爭中，徐達作為明軍的統帥屢建戰功。尤其是在北伐的時候，徐達按照朱元璋的方略，機動靈活用兵，順利的打下了北方，將元朝勢力驅逐到了沙漠。
徐達生有四子，除了第三個兒子早夭外，剩下的三個兒子分別為大兒子徐輝祖，二兒子徐膺緒和四兒子徐增壽。徐達的魏國公的爵位就由徐輝祖繼承了。在歷史上記載，徐輝祖頗有父風，驍勇善戰，為人正直。
到了朱棣發動靖難之役的時候，徐家也被卷入了這場紛爭之中。這是因為，徐達的大女兒嫁給了朱棣，在靖難之役後還當了皇後。所以，徐家三位兒子也各自站隊。徐輝祖是站在建文帝這邊的，對建文帝忠心耿耿。而徐膺緒則是保持中立，雙方都不參與。最小的兒子徐增壽則是站在朱棣壹邊，為朱棣暗中效力。
徐輝祖處處為建文帝打算，他在開戰前，就向建文帝建議，不能放朱棣的三個兒子回去，尤其是朱高煦。因為朱高煦驍勇善戰，如果放他回去，會造成大患。但是在徐膺緒等人的蠱惑下，建文帝還是放朱棣的三個兒子回去了。等戰爭開始後，朱高煦讓建文帝的軍隊吃了大虧，這時建文帝才想起徐輝祖的話。
徐輝祖不但在朝中為建文帝出謀劃策，還親自率領軍隊在疆場為建文帝廝殺。在白溝河之戰中，由於主帥李景隆能力低下，在加上戰場上的突發狀況，明軍大敗。在這種危急關頭，徐輝祖率領自己的部下為李景隆斷後。經過徐輝祖的奮戰，掩護李景隆等人安全脫離了戰場。
在朱棣南下時，徐輝祖又率軍阻擊朱棣。在宿州靈璧的齊眉山，徐輝祖打敗燕軍。由於徐輝祖驍勇善戰，燕軍都對他十分忌憚。後來建文帝朝中訛傳燕軍已敗，京師需要良將防守，將徐輝祖召回。這使得淮北的明軍沒有了徐輝祖的策應，紛紛敗績。在朱棣渡江攻打南京的時候，徐輝祖依然率軍進行抵抗。直到最後大勢已去，徐輝祖才回到自己父親的祠堂，拒不迎接朱棣。
朱棣占領南京後，對徐家也進行了清算。徐膺緒兩不參與，朱棣依然用他為官。徐增壽在戰爭末期，他勾結朱棣的事情敗露，被建文帝親手殺死。朱棣封他為定國公，並且爵位世代流傳，直至明末。而像徐輝祖這樣的死硬派，朱棣也當然不會放過。
朱棣將徐輝祖抓來親自審問。徐輝祖壹言不發，並在逼他做筆供的紙上寫下?中山王開國功臣子孫免死?的字樣。朱棣對徐輝祖無可奈何，想殺又不能殺。朱棣便革去徐輝祖的爵位和俸祿，將他關閉在自己的私宅中。
徐輝祖的死因有兩個說法，壹說是病死的，壹說是朱棣逼迫他自殺的。不管是哪種說法，徐輝祖在四十多歲時英年早逝是確定無疑的。