东汉顺帝永建二年(127年),郑玄出生于高密(今山东高密)。他自幼聪颖好学,十三岁便能诵读五经,并精通天文、占候、风角、隐术等学问。十八九岁时,因才华出众,受到时任北海相杜密的赏识,得以外出游学十余年。后来拜入经学大师马融门下,潜心研习七年,学成归乡时已经四十多岁了。因家境贫寒,郑玄在东莱郡(今山东莱州一带)以耕读为生,很快便吸引了数百名弟子前来求学。
然而,在动荡的时局中,郑玄无法置身事外。建宁二年(169年),汉灵帝即位不久,宦官侯览诬告山阳太守张俭、北海相杜密等士人“诽讪朝廷,疑乱风俗”,导致朝廷下令禁止这些清流士大夫参政。杜密正是那位赏识郑玄的人,郑玄因此受到牵连,被迫隐居写书。在此期间,他开始系统整理纬书,认为纬书与经书同源,都为圣贤所传,只是表达方式更为隐晦。可惜郑玄所注纬书大多在唐宋以后就散没了。后来他又校注了十余部典籍,其中《周礼注》《礼记注》《仪礼注》到现在还完整地流传着,成为研究汉代经学的重要文献。
184年,黄巾起义爆发,时任侍中的向栩上书汉灵帝,“不须兴兵,但遣将于河上北向读《孝经》,贼自当消灭”。汉灵帝为缓和矛盾,宣布大赦党人,让儒士能参政了。但郑玄还是不愿意当官,潜心集、注《论语》《毛诗》《尚书》这些经典。初平二年(191年),黄巾军攻掠青州,郑玄避乱徐州,在此期间完成《孝经注》。建安元年(196年),郑玄从徐州返回家乡高密途中遇到几万黄巾军,那些人竟然遇见他就拜,还约定好不进入他家乡的县境。晚年曹操、袁绍争着请他,他就是不答应,最后在建安五年(200年)被袁绍强行征召,结果他在路上病逝了。临终前,他还把《易》注完了。