robots.txtについて

質問

あるサイトさんの隠しページというかなんというかところに行きたいのですがコメントにそのページは『検索エンジンに登録されないようrobots.txtを使用しています。』と書かれていたんですが、どのようにしたら行くことができるのでしょうか？
そもそもrobots.txtというものはなんでしょうか?

よろしくお願いします。

回答No.2

Safe_Mode · ベストアンサー

「robots.txt」はGoogleのようなロボット型の検索エンジンのクローラに
そのページの情報収集をして良いかどうかを指示する手段として、
そのサイトのルートディレクトリに置くものです。

各ページごとにHTMLファイルのヘッダー情報の中に
<meta name="robots" content="noindex,nofollow">といった
記述をするという手もあるのですが、複数のページ分をまとめて
指定する役目をもっているのが「robots.txt」です。

これは通常のブラウザでも閲覧できます。
そのサイトのURLが http://www.xxx.yyy.com/index.html なら
ブラウザのアドレス欄に　http://www.xxx.yyy.com/robot.txt　と
入力すれば閲覧できます。

何の対策もしていなければ、その中に秘密のページのURLが解って
しまう場合があります。

お礼

robots.txtとはそのようなものなんですね。
そこのＵＲＬはhttp://○○○○.○○○.jp/でした。

回答No.1

wildcat-yp

サイトの管理者にその隠しページへの行き方を聞いてください。
サイト管理者の許可なくページを開くことは不正アクセス防止法に違反する可能性があります。

検索エンジンによっては機械的にHTMLを解析してリンク先を巡回しますが、検索エンジンによる巡回を望まない場合禁止することができます。
その時に準備するファイルがrobots.txtです。

参考URL：

http://www.tohoho-web.com/wwwxx079.htm

お礼

違反になちゃうんですね。
でもそれは大丈夫だと思います。
zipリストがのっているそうなんで見つけ次第どうぞみたいな感じでしたので。
管理人にどうやって聞くかがよくわかりません。
掲示板があるわけでもないし、メールアドレスが載っているわけでもありませんしね。