当社の創始年代は不明であるが、社宝として慶長10年(1605)の棟札が伝存しており、少なくとも江戸期以前まで遡るものと思われる。かつては、川瀬神社と称し、上野・栗須・川瀬地区の産土神として氏子の崇敬を集めていた。明治39年12月、神饌幣帛料供進社に指定。同41年2月18日、当社境内社の伊勢神明神社(天照大御神)、若宮神社(應神天皇)、靈符神社(倉稲魂神)、及び大字川瀬の秋葉神社(軻遇突智命)、大字阪本の折山神社を合祀の上、尾呂志神社と改称。次いで、翌々年9月29日、大字上野の若宮八幡社を合祀した。昭和26年1月8日には、神社本庁の承認を受けて、折山神社を旧鎮座地に分祀。