• ベストアンサー
  • すぐに回答を!

サイトのあるページだけ検索エンジンでヒットしないようにするには?

  • 質問No.897315
  • 閲覧数293
  • ありがとう数8
  • 気になる数0
  • 回答数4
  • コメント数0

お礼率 25% (20/80)

お願いします。

最近、ヤフーの検索エンジンのシステムが変更に
なったときき、自分のさいとのキーワードで検索を
したら、CGIで作成されたページがヒットする
ようになっていました。グーグルで検索すると
そのページは出てきません。

自分のサイトはCGIで作成されたページとそうで
ないページがあります。CGIで作ったページ
(掲示板など)は検索エンジンで検索されたくない
のですが、どうすればよいでしょうか?

<META NAME="ROBOTS" CONTENT="NOARCHIVE">などと
いれれば、いいときいたのですがこれをいれると、
入れたページだけが検索されなくなるのでしょうか?
それとも、サイト全体が検索システムから削除されて
しまうのでしょうか?

index.html-page1
     ├page2
     ├page3
     ├page4(CGI)-page5(CGI)
             ├page6(CGI)

自分のサイトはこんな構成になっています。CGIで
作成されたページだけ検索エンジンで拾われないよう
にしたいです。

わかるかた教えてください。

質問者が選んだベストアンサー

  • 回答No.3
  • ベストアンサー

ベストアンサー率 39% (638/1626)

サイト全体ではなく、ページだけの制御です。

<META NAME="ROBOT" CONTENT="NOARCHIVE">

これはキャッシュページのみを削除するものであり、Google の場合は引き続きページのインデクス付けを行い概要表示はします。ということなので、これだけでは不十分ではないでしょうか。

<META NAME="ROBOT" CONTENT="noindex">

検索データベースへの登録を禁止します。
ですので結局、

<META NAME="ROBOT" CONTENT="noindex,noarchive">
にしておけばいいのではないでしょうか。


◎ 別の方法として robots.txt を使う方法もあります。サイトのトップディレクトリに検索ロボットに検索されたくないディレクトリを記述しておきます。

User-agent: Googlebot
Disallow: /secretdir/
Disallow: /cgi-bin/

こうすると指定ディレクトリ全体を検索しなくなりますので掲示板の吐き出す HTML だけをここに入れるよう CGI 変更すればいいのではないでしょうか?

robots.txt を使うと見られたくないディレクトリはここですよと他人に公言していることになる(^^;ので、そこには index.html を置かない方がいいかも知れません。たとえば http://*****.com/secret/
とした場合にそこにあるデフォルトのページ(通常は index.html)が参照されてしまうからです。

ただディレクトリ参照が許可されている設定のサーバだとファイルが一覧で出てしまうのでその場合は中身の無意味なダミーの index.html を置いておけばいいでしょう。

>最近、ヤフーの検索エンジンのシステムが変更になったときき、

そうなんですか?ちょっとこれは知りません…。
お礼コメント
bokugabokude123

お礼率 25% (20/80)

ありがとうございました。
投稿日時:2004/06/20 06:59

その他の回答 (全3件)

  • 回答No.4

ベストアンサー率 42% (1231/2878)

No.1ですが、間違ってました。

1)除外したいパスをDisallowに指定したrobots.txtを記述する。
2)robots.txtは/(DocumentRoot直下)に配置する。

――ってのが、正しい使い方でした。
お礼コメント
bokugabokude123

お礼率 25% (20/80)

ありがとうございました。
投稿日時:2004/06/20 06:59
  • 回答No.2

ベストアンサー率 26% (19/73)

<meta name="robots" content="****">

この、****の部分に何を入れるかで変わります

index ・・・ このページの掲載を許可
follow ・・・ このページからリンクされているページの掲載も許可
noindex ・・・ このページの掲載を認めない
nofollow ・・・ このページからのリンク先の掲載を認めない

このページだけ認めない。これ以下のページも認めないならば
noindex nofollowで良いと想いますよ。
お礼コメント
bokugabokude123

お礼率 25% (20/80)

ありがとうございました。
投稿日時:2004/06/20 06:58
  • 回答No.1

ベストアンサー率 42% (1231/2878)

フォルダpage4直下にrobots.txtを配置しておくのが、一般的な方法です。
無視するクローラもありますが。
お礼コメント
bokugabokude123

お礼率 25% (20/80)

ありがとうございました。
投稿日時:2004/06/20 06:58
結果を報告する
このQ&Aにはまだコメントがありません。
あなたの思ったこと、知っていることをここにコメントしてみましょう。
AIエージェント「あい」

こんにちは。AIエージェントの「あい」です。
あなたの悩みに、OKWAVE 3,600万件のQ&Aを分析して最適な回答をご提案します。

関連するQ&A

その他の関連するQ&Aをキーワードで探す

ピックアップ

ページ先頭へ