永暦元年（1160）三月、当時十四歳の頼朝が流人として身を置くこの島は「蛭ヶ島」とよばれ、韮山村の狩野川が還流して島洲を造った地であった。この頃は、平氏政権・平清盛の全盛期であって、ここを本貫地とする在地の領主北条時政が頼朝の監視役を務めていた。
この見ず知らずの土地で退屈な日々を送る貴公子然とした頼朝に、四歳のわんぱく盛りの娘、政子が興味津々と眼を輝すのは、地元の多くの娘たちと同様であった。
年ごろの娘へと政子が成長するにつれ、父親の時政は、娘がどうも流人の頼朝と好き合っているのではないか、と不安を感じていた。この時代は、相手にどんな事情があろうと、女が名のある高貴な殿御のお種を授かることは名誉なことにちがいないけれど、頼朝の監視役である自分の立場とすれば、その厄介な預り者と、自分の娘が通じていることが京にでも露見されたなら、いかにも拙いことになる。
（あの女たらしめが……）
時政は、二人の関係が表沙汰になる前に政子を何としても嫁に出してしまわねばと考えていた。普通、女は十四・五歳で嫁入りするから、政子のような齢の女になると、薹のたちすぎた姥桜であるのだが……そんな折、伊東の祐親が耳寄りな話を持ち込んできたのである。
祐親は時政の前妻が自分の娘であったことから、何かに付け今でも長男の宗時や政子、義時等に目をかけている。
「時政、山木の判官殿が嫁取りを考えておられるそうじゃ、政子はどうであろうかのう、判官殿は今でも京の時忠殿と誼を通じておられ、これからの出世も間違いないじゃろう。何といっても判官殿が我らの一族となれば、儂らも何かに付け心づよい限りじゃ」
山木の判官とは、平家の伊豆目代である平兼隆のことである。この男は京で内裏の門などの警備を担当していたのだが、何かの不始末で解任され伊豆・山木郷に流された。その後、懇意にしていた検非違使別当・平時忠が伊豆を知行することになった際に許され、そのまま伊豆目代（代官）として、なかなかの羽振りをきかせていて山木の判官と呼ばれていた。
そこで時政は頼朝と政子のことなど何も知らないふりをして、兼隆に「判官殿、儂わしには二十一になる娘がおりまして、多少気の荒い処はありまするが、器量も決して悪くはござらぬ。まだ、おぼこ（処女）のようでして。娘の聟として貴殿以外にないと思うておりますので、どうか嫁にもろうては下さるまいか」と惚けた顔で切り出した。
