• ベストアンサー
  • 困ってます

ロボット型サーチエンジンにサーチされたくない

 本来はこういう質問こそ俺の専門分野なので、無茶と知っての質問です。ですんで、無理な場合ははっきり無理と言ってくださいませ。  えとですね。  事情があってうちのホームページに隠しページを作りました。  そのページはパスワードの入力が必要で、そのページに飛ぶとPerlのCGIによるチェックが入ります。で、その中でパスワードが一致するとLocation:ヘッダで飛びますが、クッキーの保存が必要なときだけはメタタグのリフレッシュを使って飛んでいます。  ただし、HTMLファイルは、index.htmファイルと同じディレクトリに普通に存在していて、そのページにリンクされているデータも、他の一般公開データと同じディレクトリにHTML形式で存在しています(別途index.htmによってフタをかぶせていますが)。ですんで、これらのファイルにダイレクトジャンプされたらおしまいです。  このような状況下において、ロボット型検索エンジンは、うちの隠しページを探り当てることがありえるのでしょうか? また、探り当てられてしまうとしたら、それを回避する方法はあるのでしょうか?  ちょっと見には探り当てえないとは思うんですが、友人で一人「ロボットエンジンはキーワードなんか適当にもってくる」と言っていたので。  んーな馬鹿な!? とは思うんですけどね(笑)  安心したかったので質問させていただきました。  ま、掲載されてたら苦情を出して消してもらうというのも手でしょうけど、それじゃあちょっと遅いので。

noname#25358
noname#25358

共感・応援の気持ちを伝えよう!

  • 回答数1
  • 閲覧数62
  • ありがとう数1

質問者が選んだベストアンサー

  • ベストアンサー
  • 回答No.1
  • pinky
  • ベストアンサー率52% (29/55)

ロボットに検索されてほしくない場合ですが、一応ふたつの方法で抑制できることになっています。 ひとつはrobots.txtを利用する方法。 もうひとつは、 <META NAME="ROBOTS" CONTENT="NOINDEX"> を使う方法です。 詳しくは以下のページを見てください。

参考URL:
http://www.net-web.ne.jp/ipusiron/source/sec_text_search_engine.htm

共感・感謝の気持ちを伝えよう!

質問者からのお礼

 こんな便利なものがったんですねぇ。  念のために入れておくことにします。  ありがとうございました。

関連するQ&A

  • ホームページのロボット制御について

    ホームページのロボット制御について疑問があります。 index.html(トップページ)だけはロボットの登録対象にしたいが、その他の全ページは すべて登録対象にしない場合のメタタグについてなんですが、調べたら index.html(トップーページ)には <META NAME="ROBOTS" CONTENT="NOFOLLOW">を記述しこのページを登録対象にし、かつこのページのリンクを辿らないようにする。 それ以外のファイルはすべて <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">と記述すると書いてありました。 しかし、そもそもindex.htmlに記述したメタタグによってindex.htmlページ内のリンクを辿らないわけなので、その他のファイルにあえてメタタグを何も書かなくてもその他のファイルはindex.htmlから辿られず、インデックス化されない気がするんですがどうなんでしょうか? a.htmlやb.htmlなどその他の全ファイルにも <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">と記述しないといけないんですかね?

    • ベストアンサー
    • HTML
  • document.referrerについて

    お世話になります。 http://www.openspc2.org/JavaScript/ref/document/referrer.htm このページによると、document.referrerとは、 「ハイパーリンク元のファイルが存在しない場合、UNIXサーバーであればディレクトリ内のindex.html、それ以外のサーバーであればdefault.htmファイルを読み込みます。」 とあります。「ハイパーリンク元のファイルが存在しない場合」とはどういうことでしょうか? まさかdocument.referrerを実行することでリンク元のページの存在確認まで行っているということなのでしょうか? それと、reffererがセットされているということはどこかのページからその瞬間リンクされているということだから、リンク元ファイルが存在しない状況は起こりえないと思うのですが、どうなのでしょう?

  • ACCESS2003のデータアクセスページの使い方について

    イントラ内でACCESS2003のデータアクセスページを使いたい。 1.ACCESS2003のデータアクセスページを作成しました。 2.そのMDBファイルと、データアクセスページ(htmファイル)を、WINDOWS2000ServerのInetpub内のwwwrootフォルダの中へ入れました。 3.ここにはイントラ内のHPなどを置いています。(普通に見れています。) 4.クライアントから、データアクセスページのhtmファイルを見に行くと「データソースログオン」が立ち上がります。(パスワードを設定しています。) 5.パスワードを入れるとデータアクセスページ(htm)から、通常のアクセスのフォームのごとくデータ入力が出来る予定なのですが(泣)できません。(泣) で、悩んでおります。 ACCESS2003のMDBファイルとデータアクセスページ(HTMファイル)をサーバーのwwwrootへ置いただけでは、データアクセスページを通してmdbファイルへの入出力は不可能なのでしょうか?

  • 指定のページに入るのにパスワードをかけるには?

    質問です。 WEBサイトで指定のページに入る際に IDとパスワードを入力しないと入れない場合、 どういったことをすればいいでしょうか? 「.htaccess」と「htpasswd」を使えばいいのでしょうか? 今回はindexページ以外のページに入る際に IDとパスワード制限をかけたいと思っています。 その場合ディレクトリもどのようにすればいいか 教えて頂けると幸いです。 よろしくお願い致します!

    • ベストアンサー
    • HTML
  • index.htmlとindex.htmを置いてますが、index.htm に集めたい!

    変な質問になってすみません!! 現在ホームページ上に、index.htmlとindex.htmというファイルを置いています。現在、使っているページはindex.htmをメイン(トップページ)としています。 しかしながら、index.htmlに来る人もいます。このページは現在使っていないのですが、訳あって削除することが出来ません。 そこで、metaタグ?か.htaccess?などを使ってindex.htmlに訪れた場合、index.htm に行かせる事は出来ますでしょうか? 方法をご存知の方がおられましたらアドバイス宜しくお願いいたします。

    • ベストアンサー
    • HTML
  • 検索エンジンのクロール挙動について

    a.html b.html c.html 3つのファイルが存在するとします。 そして、a.htmlはb.htmlへリンクしており、b.htmlはc.htmlへのリンクがあると仮定します。 また、a.htmlは既にgoogleなど検索エンジンで定期的にクロールがきているものとします。 その場合 a.htmlのメタタグ <meta name="robots" content="INDEX,FOLLOW"> b.htmlのメタタグ <meta name="robots" content="NOINDEX,FOLLOW"> c.htmlのメタタグ <meta name="robots" content="INDEX"> とした場合、 c.htmlはクロール対象となりうるのでしょうか。 少々わかりにくい質問ですが、回答お待ちしております。

  • 1回だけのリフレッシュ設定について?

    お世話になります。  _______  |          |   |   1      |   | ̄ ̄| ̄ ̄ ̄ ̄ |   |2  | 3    |   |   |      |   |   |      |  |   |      |   ̄ ̄ ̄ ̄ ̄ ̄ ̄ 先日もご質問させていただきました者ですが、 (04/07/22 15:01) 検索エンジンの結果、3のフレームにあてている ページだけが検索で出てきます。 そこで、教えていただきました中からヒントを得まして、 ホームページの自動リンクとして、 <META HTTP-QUIV="Refresh"CONTENT="*;URL=http://index.htm"> で、個別検索の結果のページから、おおもとのindexに 自動リンクを張りました。 結果、検索の後3のページから無事フレーム付きの indexページが表示されました。 が、上記メタタグ *=5 として5秒後に再び3の部分に indexが表示され、また5秒後に3の部分にindexが表示され、、、、。きりがありません。 1回だけリフレッシュしてほしいのですが、どなたか 分かる方おられますでしょうか。お願いします。

  • 検索エンジンロボットを制御する

    マンションの住人以外の閲覧を避けるために、ロボット検索を回避しようと思っています。そのために、http://tech.bayashi.net/pdmemo/robots.htmlを見ていますが、ルートにrobots.txtファイル User-Agent: * Disallow: /cgi-bin/ Disallow: /example.html を置くことが推奨されています。そこで質問です。 (1)上記 example.html の"example"は固定の名前ですか?それともトップページの名前(例:index.html)に置き換えるのですか? (2)ルートに複数の html ファイルが存在する場合、robots.txt の内容は変えるのですか? (3)上記(2)で、ルートに .html ファイルと .htm ファイルが混在している場合はどうですか? 以上、よろしくお願いします。

  • アップロードがうまくできません

    Yahoo!ジオシティーズでファイルをアップロードしてファイルマネージャーにもそのファイルが表示されますが、ホームページには「ページが見つかりません」と表示され、そのファイルが反映されませんが、このような時はどうすればよいでしょうか?トップページに関してはファイルを「index.htm」と変更したらURLで確認できましたがトップページからのリンク先のページがアップロードしたにもかかわらずURLでページが確認できませんと表示されます。他のページはどうすればURLで反映されますか?ちなみにファイル名はトップページが「index.htm」で他のファイル名は「index.htm1」、「index.htm2」という感じです。「index.htm1」はうまくリンク先が確認できましたが」、「index.htm2」以降のファイルがアップロードしたのにURLに反映されません。どうすればよいのでしょうか?

  • ApacheでのSSIを利用する際の拡張子HTMLでのhtaccess負荷対策

    ご質問させていただきます。 ××- (1)    - (2)    - (3)    - (4)    ・    ・    ・    ・    - (200)    - index.html 上記のようなディレクトリ構成で、 index.htmlをSSIで動かしたいのです。 (shtmlではなく、htmlで) ××のディレクトリ内にhtaccessを置けば可能なのですが、(1)~(200)のディレクトリ内には多数のhtmlファイルが存在しています。(1)~(200)のディレクトリ内のhtmlファイルはSSIを使用しません。しかも、(1)~(200)というのは現時点での話であり、どんどんディレクトリの数が増えていきます。 負荷がかかると困りますので、××以下のindex.htmlのみSSIを実行されるようにしたいのです。 (1)~(200)のディレクトリ内にSSIを使用しないようにhtaccessを一つずつ置く方法しか考えられないのですが、 他に何か対策はありますでしょうか? 宜しくお願い致します。

専門家に質問してみよう