狩野川の流路変遷の名残をとどめてか、近在には古河：ふるかわ：・和田島：わたじま：・土手和田：どてわだ：等の地名が現存するところから、往時は大小の田島（中州）が点在し、そのひとつが、この蛭ヶ島であったことが想像される。

永暦元年（1160）14才でこの地に流された頼朝は、治承4年（1180）34才で旗挙げ、やがては鎌倉幕府創設を成し遂げることとなるが、配流20年間における住居跡等の細部は詳らかではない。

しかし、　「吾妻鏡：あずまかがみ：」治承4年の記事によれば、山木攻め（頼朝旗挙げ）の頃は、妻・政子：まさこ：の父、北条時政の館（当地より西方約1.5粁の守山：もりやま：北麓）に居住し館内で挙兵準備を整えたとある。

このことから考えると、頼朝は、北条政子と結ばれる治承元年（1177）頃までの約17年間を、ここ蛭ケ島で過ごしたものといえよう。

当公園中央部にある「蛭島碑記」の古碑は、源氏が天下支配の大業を果たした歴史の原点を後世に伝承すべく、寛政2年（1790）豆州志稿：ずしゅうしこう：の著者、秋山富南の撰文により、江川家家臣飯田忠晶が建立したもので、韮山町の有形文化財に指定されている。

また、この碑の西側にある高い碑は秋山富南の頌徳碑で、豆州志稿の増訂に当った荻原正夫が、明治26年に建立したものである。

北条時政が大番役の一人として京に上り伊豆を留守にしている間（1177年頃）、31歳の源頼朝と21歳の北条政子は恋に落ちました。

源氏の御曹司と結ばれたことが表沙汰になると面倒なことになると考えた時政は、政子を伊豆国の目代である山木判官 平兼隆の元に嫁がせようと企てますが、祝言の晩、政子は山木館を脱出し、熱海の東方伊豆山の走湯山権現に逃げ込みました。

当時の伊豆山権現は格式の高い神社である上、多数の僧兵が山にこもっていたので、平兼隆も北条時政も手出し出来ず、政子のしたためた手紙を受け取った頼朝は、伊豆山に行き、政子と相会することができたのです。

かくて頼朝と政子は、伊豆山権現の保護によって、そこでめでたく夫婦になることができました。

近世中期の投節：なげぶし：のひとつに
♪こんどござらば持て来てたもれ、伊豆のお山の梛の葉を。♪
という歌があります。

「こんどおいでになるときには、伊豆のお山のなぎの葉を持って来て下さいね」という願いのうちに「それをお守りにしたいから。」との意がこめられています。女の方から男に言った言葉です。

当寺の俗信では、梛の葉を鏡の裏に入れて「お守り」にすると願いごとがかなう（結ばれる）とされていました。
「伊豆のお山」とは伊豆山権現のことです。

源頼朝と北条政子の熱烈な恋愛は伊豆山権現で成就したのですから、この故事にならって梛の葉は、当時の娘たちのあこがれであり、願いであったことでしょう。

梛を鏡の裏のお守りにすることは、寛永の頃こら享保の頃まで流行したようです。