天正十三年(1585)讃岐藩主となった仙石権兵衛秀久は安原郷安原村平賀の百姓一揆を厳しく弾圧し、安原甚太郎ら12名を聖通寺山麓で釜ゆで(磔ともいう)の刑にし、さらに百余名を斬首し獄門にかけた(さらし首にすること)という。後難を恐れた安原村の村人は、安原平賀神社のご神体を奉じて同じ地名の香西平賀に逃れた。香西平賀の里人はこれを受け入れ、安原から運ばれたご神体を香西平賀に祀った。 これを香西平賀神社の起源という。 寛文四年(1664)一郷内に二ヶ所の八幡神社は許さないという藩命「寛文の寄せ宮」が出た時、平賀神社は宇佐神社の境内に移され、廃社の危機を招いたが50年後の正徳四年(1714)8月香西寺18世住職、圭然の時に香西寺の鬼門を抑える鎮守の神として旧地に戻された。その際平賀と中須賀の氏神とした。