地節四年（公元前66年）七月，霍顯毒殺許平君之事泄露，霍顯便與兒子大司馬、博陸侯霍禹，霍家子弟冠陽侯霍雲、樂平侯霍山、諸女婿度遼將軍範明友，長信少府鄧廣漢、中郎將任勝、騎都尉趙平，長安男子馮殷等陰謀造反，東織室令張赦派魏郡豪家李竟向朝廷舉報此事 ，霍顯等人全都被誅殺。同年八月初壹日，漢宣帝派有關官員賜命令給霍成君，說她居心不良而失道，生性狠毒，持毒藥與其母霍顯同謀要暗害太子劉奭，無人母之恩，不能奉宗廟祭服，不可以承擔皇後大位。於是廢黜霍成君的皇後之位 ，收繳皇後璽綬，將其遷往上林苑的昭臺宮居住。
五鳳四年（公元前54年），漢宣帝再度下令將其遷往雲林館居住，霍成君結果自殺而死，死後葬於藍田縣昆吾亭東部。