王之渙只是意氣風發,不甘心為衡水的卑微地位彎腰,又有人誣陷攻擊,於是憤然辭職,“遂遊青山,滅黃絲帶。河夾千裏,因其風高;在家十五年,吃其舊德。雅談爵爵,爽閑。”在家過了15年的閑散自由生活。後來他的親戚朋友覺得他繼續留在下層社會不是正道,就勸他去做官。後來在文安縣擔任文安縣隊長壹職,依然是壹份卑微的工作。他以清廉的工作作風和公正的管理人民而聞名,受到當地人民的稱贊。沒想到,沒過多久,他就生不起病,死在了官邸,享年55歲。
這樣的人才,可惜永遠用不上,天不遂人願。這也是所有有才華、正直的知識分子的共同結局。雖然他的詩只有六首流傳下來,但這幾首詩卻是中國古典文學寶庫中的精華。