衛玄出身於官宦世家，其祖父衛悅、父親衛扌剽皆是西魏、北周時期官員，衛悅官至司農卿，衛扌剽官至侍中、左武衛大將軍。
衛玄少時有器量見識，北周武帝宇文邕做藩王時，引薦衛玄擔任記室。衛玄後來升任給事上士，繼承興勢公的爵位 ，食邑四千戶。後改任宣納下大夫。
武成二年（560年），北周武帝繼位後，任命衛玄為益州總管長史，賜給萬釘寶帶。不久，升任開府儀同三司、太府中大夫，代理內史事，兼任京兆尹，時人稱其強力貫通天下。
北周宣帝宇文赟在位時，衛玄由於忤逆聖旨而遭罷免官職。
隋文帝楊堅擔任北周丞相時，衛玄擔任代理熊州刺史。 當時和州的蠻人反叛作亂，衛玄以行軍總管的身份平定叛亂。 仁壽四年（604年），隋文帝去世，太子楊廣繼位，是為隋煬帝。隋煬帝繼位後，征召衛玄入朝擔任衛尉卿。夷人、獠人懷戀衛玄，相送之人幾百裏內不斷。衛玄曉諭他們說：“天子下詔調我回京，我不能久留。”於是與他們告別，夷人、獠人都揮淚而去。
大業二年（606年）七月初壹日，衛玄擔任工部尚書。後來改任魏郡太守，仍兼任工部尚書。隋煬帝對衛玄說：“魏郡是有名的都市，是要沖之地。那裏的百姓很奸刁，所以麻煩妳去治理。這個郡離首都並不太遠，妳應該常回京師，參謀朝政。”賜給他布帛五百段，讓他前往赴任。大業四年（608年）正月二十九日，隋煬帝任命衛玄為右侯衛大將軍 ，代理左侯衛大將軍之事。
大業八年（612年）正月十五日，衛玄擔任刑部尚書。 同年六月，隋煬帝發兵東征高句麗，衛玄擔任代理右禦衛大將軍，率軍由增地道出發，與眾將在鴨綠江西面會合。 七月，當時各路兵馬大多出師不利，有所傷亡，唯獨衛玄壹軍的兵眾全部返回。 授任金紫光祿大夫。 大業九年（613年）正月，隋煬帝駕幸遼東，命衛玄等人輔佐代王楊侑留守東都洛陽，並任命衛玄擔任京兆內史，仍兼任刑部尚書，允許他遇事不便上奏，可自行裁處決斷，敕令楊侑以對待老師的禮節對待衛玄。
同年六月，禮部尚書楊玄感起兵造反，圍困東都洛陽。楊侑派衛玄率領步兵、騎兵七萬人援救洛陽（壹說率兵四萬援救洛陽）。衛玄軍到華陰後，挖掘楊玄感之父楊素的墳墓，焚燒其屍骸遺骨，將其祖塋鏟平，向士卒們表明必死的決心。兵出潼關之後，有人擔心崤山和函谷關之處有伏兵，請求從陜縣沿黃河順流東下，直奔河陽，攻擊楊玄感的後方。衛玄說：“依我看來，這種計謀不是楊玄感那小子所能想到的。”於是就擊鼓前進。出崤山、澠池，過函谷關後，正如他所猜測的那樣，果真沒有伏兵。衛玄派武賁郎將張峻從南路進發作為疑兵，自己則親率大軍直奔洛陽城北。楊玄感率軍迎擊衛玄，衛玄率軍且戰且走，在金谷駐紮軍隊。
衛玄在軍中清掃壹片場地，祭祀隋文帝說：“刑部尚書、京兆內史臣衛文升，冒昧地昭告於高祖文皇帝的神靈：自從皇家承受天命，到現在三十多年，武功文德，漸漸影響海外。楊玄感辜負聖恩，自作蛇豕，蜂飛蟻聚，犯我王師。臣下我兩代受恩，壹心侍奉國家，統率熊羆之眾，誌在剿滅逆黨。如果社稷長久，應該讓楊玄感這些醜類像冰塊壹樣破碎；如果隋朝大勢已去，就請讓老臣先死吧！”衛玄詞氣激昂，三軍將士莫不流涕嗚咽。
衛玄率領步兵、騎兵兩萬人渡過瀍水，與楊玄感軍交戰。楊玄感屢次擊敗衛玄。當時，楊玄感擁有近十萬兵眾，衛玄由於寡不敵眾，部下死傷大半，軍力將近耗竭，於是他率軍進駐邙山的南面。楊玄感率領全部精兵前來進攻，衛玄率軍與楊玄感決戰。壹天之內雙方交鋒十余次，恰巧楊玄感之楊玄挺身中流箭而死，楊玄感的軍隊才稍稍退卻 ，衛玄進而駐軍邙山的北面。恰逢宇文述、來護兒等援兵趕到，楊玄感懼怕，因而向西逃走。衛玄派遣通議大夫斛斯萬善、監門直閣龐玉為先鋒追擊，趕到閿鄉，與宇文述等合兵擊敗叛軍。 隋朝末年，隋煬帝統治殘暴，民不聊生，爆發大規模農民起義。義寧元年（617年）五月，太原留守李淵起兵反隋。八月，李淵率領義軍進入關中。當時衛玄已年老，聞知李淵率軍向長安進發，自知不能守禦，憂愁恐懼，自稱有病，不再參預政事。 十月，李淵屢次派使者到長安城下對衛玄等人宣稱自己是尊奉隋朝皇室，並無反叛之意，衛玄等人不作答復。 十壹月，李淵軍隊攻陷長安，衛玄歸居家中。同月，衛玄去世 ，時年七十七歲。