初対面で不仲になってしまった義円は、待ち受ける平家軍に正面から先頭に立って突っ込み、気が付けば単騎になっていた。平盛綱（重盛の孫）が名乗りと同時に馬を寄せて地に蹴り落とし、組敷いて首を挙げた。

行家は義円の抜け駆けと見て川を渡ったが、相手は富士川で四散した平家軍とはまるで違った。軍は総崩れとなり、行家は単騎で熱田に走り敗兵を集めて立て直そうとしたが、そこも破られ矢作川まで更に走った。しかし、平家は兵糧不足でそれ以上追う事は出来ず、行家は生き長らえ鎌倉に逃れた。

行家は、頼朝に嫌われていることを知っていたが、なお叔父としての存在と、以仁王の令旨をもって東国を廻ったという過去を誇りとした。頼朝は相手にせず、周りも頼朝に気を遣い誰も行家に近付かなかった。

その中で、義経だけは「叔父上。叔父上」と慕い、宿舎に招いて父義朝の話を聞きたがった。行家は長兄義朝に会ったことはなかったが、聞きかじったことや、作り上げた物語で義経を喜ばし、義経は涙を流して聞き入った。

そして、行家は頼朝の自分に対する冷たさを愚痴るのであった。弁慶は熊野の別当湛増の子であるため、行家のことを知っていて、策謀だけで世を渡っていることを話し、気を許さぬようにと注意した。やがて、行家は頼朝の監視を逃れ義仲の帷幕に入った。

話は義仲に戻る。義仲を都から追い出すには、御しやすい相手ではないが頼朝を使うしかない。法皇は、その前に行家を抱き込み義仲との間を割くことにした。行家を院に出入りさせ侍臣のように扱ったのだ。

行家はもちろんこれを喜び、義仲・頼朝への不満を連ね、内部事情を曝け出した。法皇は、義仲軍の三分の二がすでに逃散していること、法皇の拉致監禁を検討していることを知った。

すぐに法住寺御所の防御に取り掛かり、堀や柵を設け叡山・三井寺・仁和寺から僧兵・宗徒を御所内に集め、北面の武士や近隣の源氏武者が警護に当たった。