Легенда гласит, что храм Фудзиояма Каннондзи был основан в 735 году, когда император Сёму приказал буддийскому монаху увековечить одиннадцатиликого бодхисаттву Каннон, чтобы молиться за безопасное строительство статуи Великого Будды.
Храм Анаодзи занимает 21-е место среди храмов паломничества Сайгоку Каннон (паломничество в 33 храма по всему региону Кансай, все из которых хранят главный образ бодхисаттвы Каннон).
Кудзиро Кояма начал выращивать здесь чай в эпоху Гэнроку (1688-1704). Через четыре поколения семья расширилась до продаж, а через восемь поколений они расширили свой рынок, чтобы охватить всю Японию.