霍山黄芽自明代列为贡品。六安州志载：明时六安贡茶制定于未分霍山县之前原额茶二百袋，霍山办茶一百七十五袋。霍山县志载明人曹琥注黄芽茶疏中说：臣查得本府额贡茶岁不过二十斤，祖宗以来圣贤相承不闻以为不足……宁府正德十年之贡（1515年）取去芽茶一千二百斤，细茶六千斤，不知实贡朝廷几何……芽茶一斤，卖银一两，犹恐不得。
清乾隆四十一本（6-2）《霍山县志》贡茶产地载：六安茶六安与霍山所并产也其以六安名者当霍未建县已有贡额从其朔也。《天启志》谓以六安寨得名以似凿（寨本名六万，讹称六安）。顾霍邑山多绕确六地既广且饶（产茶实浮于霍而贡额州不县之什二）……产茶之地惟东山最早，而东山皆属州境，每年大府荐新及本县贡品，率皆州民于雨前，赴县售卖；霍产悉出西南，迟在雨后，帮不及入贡，则茶之专名六安，亦纪实也。今为详着其地此霍被六大较可睹矣。东山……贡茶岁居其八九（东山25处属县境的有磨子潭、与儿街、但家庙、单龙寺、东西溪等21处）。又据《霍山县志》载：“光绪年间，以南乡雾迷尖（即乌米尖），挂龙尖二山所产为一邑最采制既精，价亦倍于各乡。”
霍山黄芽曾一度失传。1971年以来开始挖掘、研制，恢复生产。1972年4月27日至4月30日，县茶办室选派农业局茶厂、坝上茶站三位茶叶技干，在乌米尖同三位七、八十岁高龄的茶农共同炒制黄芽茶，共计14斤茶样，当即用白铁桶封装六斤上报国务院进行鉴评。翌年县土产公司又布点三处，正式生产黄芽，金字山为重点，数年来，由审评室老茶师负责技术辅导。其余两处为乌米尖和金竹坪。此后，经过大化坪区农技站、茶站的技术人员反复切搓，试验改进，黄芽茶采制技术有所提高，品质规格趋于固定。黄芽茶收购量1973年178公斤，1980年644公斤，1985年多渠道收购量猛增至3700公斤，每斤茶价8．50元。