以仁王は後白河天皇第二皇子にあたり、治承4年（1180）源頼政が、平家追討のために王を擁立しましたが、宇治川合戦に敗れ、奈良へおもむく途中この地の光明山鳥居前で流れ矢に当たって落命。
この悲劇の王を悼んだ里人により墓が築かれたといわれています。

高倉神社は、平安時代末期（12世紀）の後白河法皇の第二皇子以仁王を祀る神社で、隣接して以仁王の御墓があります。

『平家物語』によると以仁王は、治承4年（1180）に平清盛とその一族の追討を命じる令旨を諸国の源氏勢力にあてて出しました。

このことが露見したため平家に追われた王は、南都の興福寺をたよって都を落ちる途中、この地つまり「光明山寺：こうみょうせんじ：の鳥居の前」で流れ矢に当たって落命されたとあります。

後に王の御霊を祀ったのが、この神社の起こりです。

付近には、王落命の祈りに仏事を営んだとされる阿弥陀寺や、都を落ちる王に従って宇治橋の合戦で活躍した筒井浄妙：つついじょうみょう：の墓と伝える塚（浄妙塚）があります。

なお、現在、以仁王の御墓と浄妙塚は宮内庁管理しています。