新編相模国風土記(一八四一年成立)によると栢山地区(当時は栢山村・戸数ーニー戶)には当時、八乙女権現社・白髭社・稲荷社の三社が村の鎮守として祀られ親しまれていた。又、水神社・山王社が村で守られていた。
その後、明治になり一町村一社の指導のもとこの地に三社を合祀し栢山神 社として明治六年に足柄上郡郡庁に届け出た。
その後明治四十三年の酒匂川氾濫によりこの地の田畑と一四戸が流された際に水神社も栢山神社境内に移動し合わせて祀ることになった。そのために栢山神社では四祭神を祀ることとなった。
水害からの復興に約一○年かかり現在の神殿は大正九年(伝承)に建築され、内部には三社の神殿が安置されている。
