傳說這種茶樹是牡丹花變成的。在西漢時期，有位名叫毛義的太守，清廉剛正，因看不慣貪官當道，于是棄官隨母去深山老林歸隱。母子倆騎白馬來到一座青山前，只覺得異香撲鼻，于是便向路旁一位鶴發童顏、銀須垂胸的老者探問香味來自何處。老人指著蓮花池畔的十八棵
棵白牡丹說，香味就來源于它。母子倆見此處似仙境一般，便留了下來，建廟修道，護花栽茶。一天，母親因年老加之勞累，口吐鮮血病倒了。毛義四處尋藥，正在萬分焦急、非常疲勞睡倒在路旁時，夢中又遇見了那位白發銀須的仙翁，仙翁問清緣由后告訴他:“治你母親的病須用鯉魚配新茶，缺一不可。”毛義醒來回到家中，母親對他說:“剛才夢見仙翁說我須吃鯉魚配新茶，病才能治好。”
母子二人同做一夢，認為定是仙人的指點。這時正值寒冬季節，毛義到池塘里破冰捉到了鯉魚，但冬天到哪里去采新茶呢?正在為難之時，忽聽得一聲巨響，那十八棵牡丹竟變成了十八棵仙茶，樹上長滿嫩綠的新芽葉。毛義立即采下曬干，說也奇怪，白毛茸茸的茶葉竟像是朵朵白牡丹花，且香氣撲鼻。毛義立即用新茶煮鯉魚給母親吃，母親的病果然好了，她囑咐兒子好生看管這十八棵茶樹，說罷跨出門便飄然飛去，變成了掌管這一帶青山的茶仙，幫助百姓種茶。
后來為了紀念毛義棄官種茶，造福百姓的功績，建起了白牡丹廟，把這一帶產的名茶叫做“白牡丹茶”。
