要因の一つに採点競技であり、一回のミスですら大きく順位に関わっていて、ミスをしない選手がいない、ミスをしないで済むレベルでの競技ではないことがあると思います。
参考にグランプリファイナルのwikiを引っ張ってきましたが、３位までの名前を見ると長く活躍している選手もたくさんいますが、男子で連覇したのは羽生の４連覇を含んで２４年で４人、女子は５人いますがスルツヤカの３連覇が最高です。これを多いと見るか少ないと見るかは個人の見方でしょうが、少なくともオリンピックの舞台で連覇しようと思ったら、物足りない実績になるのではないでしょうか。
また、優勝者が次の年に順位を落としつつ、翌年以降に復活Ｖなんてパターンが結構存在しているので、優勝を狙えるスケーターは安定して実力を発揮できるのは間違いないのですが、安定して優勝するには些細なミスですら許されないような競技であると思われます。そして、ミス無く滑り切るにはハイレベルすぎる演技を求められている競技なんだと。
それを逆から見れば、オリンピックの時に生涯でも最高の演技ができた人に金メダルが降りてくるようなパターンもあると思います。グランプリファイナルで一度も優勝したことのない荒川さんが取ったのはまさにそれかと。
それを総合すると４年に一度の舞台で実力を１００％出し切れる選手がそうそうにはいないことも原因の一つかと思います。
https://ja.wikipedia.org/wiki/ISU%E3%82%B0%E3%83%A9%E3%83%B3%E3%83%97%E3%83%AA%E3%83%95%E3%82%A1%E3%82%A4%E3%83%8A%E3%83%AB 
あなたの思ったこと、知っていることをここにコメントしてみましょう。