Семья Инаба - потомки подчиненного военачальника 14 века Ода Нобунага. Они разбогатели, продавая солодовый рис, и занимаясь морской торговлей вдоль побережья.
Легенда гласит, что храм Фудзиояма Каннондзи был основан в 735 году, когда император Сёму приказал буддийскому монаху увековечить одиннадцатиликого бодхисаттву Каннон, чтобы молиться за безопасное строительство статуи Великого Будды.