王之渙只是意氣風發，不甘心為衡水的卑微地位彎腰，又有人誣陷攻擊，於是憤然辭職，“遂遊青山，滅黃絲帶。河夾千裏，因其風高；在家十五年，吃其舊德。雅談爵爵，爽閑。”在家過了15年的閑散自由生活。後來他的親戚朋友覺得他繼續留在下層社會不是正道，就勸他去做官。後來在文安縣擔任文安縣隊長壹職，依然是壹份卑微的工作。他以清廉的工作作風和公正的管理人民而聞名，受到當地人民的稱贊。沒想到，沒過多久，他就生不起病，死在了官邸，享年55歲。
這樣的人才，可惜永遠用不上，天不遂人願。這也是所有有才華、正直的知識分子的共同結局。雖然他的詩只有六首流傳下來，但這幾首詩卻是中國古典文學寶庫中的精華。