上宮があるからには、下宮（しものみや）もあるのである。

上宮から車で５分くらいのところに、日吉（ひよし）神社下宮がある。

参道は長いが拝殿と本殿は、田舎の鎮守様という感じで、建物も質素な感じだった。

観光客はまったくなし。途中、車が止まって母娘が下りてきたので、ああ、こんな所にも観光客がくるのか、と思って見ていたら公衆トイレを使ってそのまま立ち去っていった。

境内には別当寺の勧学院がいまでも寺として残っている。下宮も神仏習合がそのまま残っているのである。

境内は薬医門、鐘堂、宝物殿（朱塗りの建物）などがある。