しかし、その後日本は国内では空前のブームに沸く反面、新日鉄釜石を率いた松尾雄治などのタレントを擁しながら、対外試合ではアジア以外では勝てないという皮肉な時期が続いた。数少ない戦績として、1983年のウェールズ遠征で24-29と惜敗したことが挙げられる位である。代表監督の任期が短く同じ顔触れを繰り返したことも一因とされている。

このころ、ラグビーには長年世界一を決める大会がなく、日本は海外遠征やラグビー強豪国を招いてのテストマッチでラグビー強豪国（IRB正加盟国8カ国）を破ることが悲願であったが、実力と試合機会という高い壁に阻まれてきた。1987年にワールドカップが創設され第1回大会に日本も招待されたが、3戦全敗で予選敗退した。この前後の期間、1986年のスコットランド戦から11連敗という「暗黒の時代」が続いた。しかし、1989年に早大黄金期のスクラムハーフ宿澤広朗が日本代表監督に就任、転機を迎えた。

宿澤は、来日したスコットランドの試合をつぶさに観戦し、①スクラムが弱い、②二線防御が甘いというスコットランドの弱点を見抜いた。そして選手たちに「勝てる」と力説した。1989年5月28日の試合は、ほぼ宿澤の予想通りの展開となり、28─24でスコットランドを破った。主将は、神戸製鋼の主将だった平尾誠二が務めた。しかし宿澤が指揮を執ったテストマッチはこの1試合のみで、日本は再び低迷期を迎えた。

象徴的だったのが、1995年のワールドカップ第2回大会における歴史的大敗である。2戦2敗で予選敗退が決まっていた日本は、決勝進出を決め控え主体のメンバーで臨んだオールブラックスに17-145という屈辱的敗北を喫した。この敗戦は、開催地の名前から「ブルームフォンテーンの悪夢」と呼ばれている。この時は前新日鉄釜石監督の小藪修が指揮を執っていたが、惨敗の責任を取り退任した。立て直しを託され、平尾誠二が1997年に代表監督に就任した。平尾は、無名チームや他競技の素質ある選手を発掘する「平尾プロジェクト」を立ち上げたが、在任中は成果を挙げることができなかった。それどころか、就任した年の環太平洋選手権では、最下位に終わった。