霍山黄芽源于唐朝之前。唐中李肇《唐国史补》把寿州霍山黄芽列为十四品目贡品名茶之一。霍山黄芽唐时为饼茶，唐杨晔《膳夫经手金录》载：“有寿州霍山小团，此可能仿造小片龙芽作为贡品，其数甚微，古称霍山黄芽乃取一旗一枪，古人描述其状如甲片，叶软如蝉翼是未经压制之散茶也。”
《史记》称：寿春之山有黄芽焉，可煮而饮，久服得仙。六霍旧寿春故也。一曰仙芽，又称寿州霍山黄芽。六安州小岘春，皆茶之极品，明朝始入贡。自弘治七年分设霍山县，州县县贡。县户采办者例应汇州总进。
六安州岁贡芽茶二百袋，每袋重一斤十二两。自明弘治七年分设霍山县后，随定额分办，州办茶二十五袋，县办茶一百七十五袋。
国朝因之，至康熙二十三年奉文增办一百袋，州承办三十七袋，计六十四斤十二两，县承办二百六十三袋，计四百六十斤四两。每年州备价发县代买一色芽茶。
今天下产茶处不下数百，致贡者仅十余处，而明朝上供专用六安，其余悉以市焉。每岁上供，霍多至三百六十封，又有副封以补其乏。州额不及什二，是霍倍其力，而六享其成。——清顺治十七年《霍山县志·贡茶》。