WEBサイトの更新チェック（ディレクトリ内を全て）

質問

特定のurlを登録してチェックするソフトは数多くありますが、
たとえば『http://○○.jp/○○/』と指定するだけで
そのディレクトリ以下に変更や追加があった場合
HTMLページからリンクされていない画像ファイルなどでも
知らせてくれるようなソフトは無いでしょうか。

また、そういったソフトは技術的に不可能なのでしょうか？

インデックスファイルのないディレクトリ
（『/』で終わるURL）を打ち込むとファイル一覧が見えて、
そこから見てくれというサイトがあったのですが…
今は、リストの見える設定のサーバーは少ないのでしょうか？

2つの質問になってしまいますが、前半がメインで、後半はその補足です。
宜しくお願いします。

回答No.1

te2kun

リンクがなければファイルがどこにあるのか分かりません。
理論的には、総当たりで確認出来ますが、管理者から言わせると、嫌がらせ行為でしかありませんよ。
サーバに負荷がかかりますから、場合によってはサーバをダウンさせる行為になり、場合によっては逮捕されるかもしれませんよ。

岡崎市中央図書館での事件がありますから・・・
1秒に1回クロールプログラムだったみたいですが・・・

>今は、リストの見える設定のサーバーは少ないのでしょうか？

index.htmlなどのファイルが見つからなければ、ディレクトリー一覧を表示するかは、管理者次第
表示したくて、表示するのは問題ないが、意図しないで表示されてしまう場合があり、セキュリティー的に望ましくない。また、負荷軽減のためにも表示しない方がよい
負荷軽減とかセキュリティー的になどで表示しないようにしている管理者は多いでしょう

補足

お早い回答ありがとうございます。

>理論的には、総当たりで確認出来ます
これはたとえば
a.html、b.html…aa.html、ab.html
とか手動で打っていくということでしょうか。それはパスクラックに近いですし、プログラムでやったら確かに負荷が凄そうですね；

改めての質問になりますが、
サイトトップ以下のHTMLページのリンクを辿っていって、
トップディレクトリ以下にあるファイルを全てチェックするような
更新チェッカーは無いでしょうか。

例えば改訂の多いテキスト系や情報系のサイトなどを月1で見たいけど
更新履歴からでは追い切れない時などに役に立つかなと思ったのです。

また、後半の質問は
ディレクトリ内のファイル一覧を表示する設定のサイトであれば
フォルダ内のチェックも可能なのではと思ってのことです。

言葉足らずで分かりにくく申し訳ありません。