WEBサイトのリンクされたhtmlファイル数を調べる方法ってありますか？

質問

はじめまして。
とある大規模サイトのページ数を正確に知りたいのですが、通常WEBサイト上でリンクされているhtmlファイルだけでなく、WEBサイト上からはどこからも飛べないサイト（制作途中のデータなど）がいくつかあるようです。

これらのWEBサイト上からリンクされていないサイトをのぞいて、ページ数（ファイル数）を知りたいのですが、それらを把握する方法はありますでしょうか？

どうかよろしくお願いいたします。

回答No.1

askaaska

同じURLだけど条件によって別の画面を生成するような場所があったときどう考えるか
と言う問題があると思うわ。

静的なHTMLを収集するなら
TOPページから開始してリンクをたどって行くだけだから
時間さえあれば可能よね。
それを自動化するソフトもいくつかあるわよ。
キーワード「Web自動巡回」で調べれば見つかるわ。