ロボット検索エンジン対策についての問題
- ロボット検索エンジン対策に404ヘッダーを使用しているが、普通に閲覧してくる人に問題が生じる可能性はあるのか？
- ボット排除のためにrobot.txtやhtaccessを使用しているが、外国製ボットによって回収されている状況である。
- 404ヘッダーを表示させているが、この方法によってウイルス対策ソフトやブラウザから警告が出る可能性はあるのか？
- ベストアンサー
ロボット検索エンジン対策に404header
htaccessでパスワード制限するほどでもなく、urlを打てば誰でも入ってきてもいいしリンクはされてもかまわない。だが主要な検索エンジンに載らないような準非公開サイトを作りたいと思っています。完全にボットを排除することができないことは承知しています。 予めボットに回収されないようにrobot.txtやhtaccessで主要な検索ロボットを排除、htmlヘッダーにもボット対策のMETAタグを入れています。それでも外国製のボットは回収しているみたいで現在、普通に存在するページに404ヘッダーを入れて表示させているのですが、 この404ヘッダーが原因で普通に閲覧してくる人に対してなんらかの問題が生じることってありますでしょうか。404ヘッダーをハック的に使っているのでウイルス対策ソフトで警告が出たりブラウザで警告が出たりする可能性はどうなのか意見を頂きたいです。
- gothfotu
- お礼率73% (66/90)
- PHP
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
$_SERVER["HTTP_USER_AGENT"] で判断するのが妥当では？ 404エラーを送りつけるのはセンスがないとおもいます
関連するQ&A
- METAを無視する検索エンジン？
検索エンジンのロボットを排除するMETAタグがありますが、もしこれを無視して収集する検索エンジンを作ったらどうなるのでしょうか？マナー違反以上の何か問題点がありますか？
- 締切済み
- その他（インターネット・Webサービス）
- ロボット型検索エンジンの検索方法
ロボット型検索エンジンは、一体どういう仕組みで検索されているのでしょうか？ サイトによっては、ＭＥＴＡタグを拾っているようですけど、 私はＭＥＴＡタグは一切入れていません。 それでもアクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトから とんできている人が結構います。 （各サイトに登録もしていません） また、私は全ページをＰＨＰで作成をし、 ＭｙＳＱＬからデータを取って表示するという動的ページにしています。 私の認識では、動的ページは、検索エンジンに引っかからなかったと思うのですけど、 どうやら、ログを見ると、動的ページすら引っかかっているようなのですけど…。 （さすがに引数が必要なページでは引数は拾ってませんが） 単なる素朴な疑問ですので、 詳しい方、お時間のある時にでも教えてください。 又は、詳しいサイトがあったらＵＲＬを教えてください。
- 締切済み
- その他（インターネット・Webサービス）
- ロボット検索にかからないようにするには？
HPを作ろうと思うのですが 個人的なページで、内輪だけで楽しみたいページにしたいと思っています。 ですが、聞くところによると勝手にロボットが検索しに来るとか。 それで、それを避けるには <head>～</head>間に <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> <META NAME="ROBOTS" CONTENT="NOARCHIVE"> というようなタグを入れる方法があるというところまでは分かったのですが このタグは、ページごとに全部入れないといけないのでしょうか？
- ベストアンサー
- その他（インターネット・Webサービス）
- ロボット型の検索エンジンについて
自分のサイトのURLをgooに登録しましたが、 一ヶ月たっても、その後数ヶ月たっても、そのURLは検索結果に反映されません。 METAタグで指定したキーワードで検索すると、 ・私のサイトのタイトル ・トップページにMETAタグで指定した説明文 （この説明文と同じ文章は他のどこにも書いていません） ・http://www.ima-achu.com/cgi-bin/loveletter/ering.cgi?mode=randam （このURLは、私が参加しているウェブリングのランダムリンクです） が検索結果として出てきます。 １）何故このランダムリンクと私のサイトのMETAタグで指定した文章が関連付けられてしまったのか。 ２）gooにURLを登録しても反映されないことはあるのか。 ３）～cgi?mode=randamのようなURLが検索エンジンに登録されることは普通あるのか。 とりあえずまたURLを登録して様子を見ていますが、 何か原因などがわかれば教えて下さい。
- ベストアンサー
- その他（インターネット・Webサービス）
- ロボット検索の拒否ができない。
ホームページをフレームで作成しているのですが、 indexのみが検索にかかるようにしたいと思い、 他のページには下記のタグをいれました。 <HEAD>～</HEAD>に <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> しかしロボット検索に単体ページで引っかかるのです。 なにか違っていますか？ ロボット検索の拒否ができない訳は外になにかあるのでしょうか。 教えてください。
- ベストアンサー
- レンタルサーバ・ASP
- 検索エンジンへのHIT
自作HPをGoogle,Yahoo,gooなどの 検索エンジンにHITさせる様にしたいと考えています。 Googleは、ロボット検索で、リンクの数やクリック数に応じて上位表示。(metaタグを利用) Yahooは、登録されているサイトを最初に検索、なにもHITしない様であれば、Googleを利用。 と思っていたのですが、知人に聞いた所、Googleも 登録しないとロボット検索の対象にならないとか言われました。 Googleもいくら、metaタグを利用を利用しキーワード指定をしても、登録しない限り検索の対象にならないのでしょうか？
- 締切済み
- その他（インターネット・Webサービス）
- Yahoo 検索避け 検索結果の表示
お世話になります。 お時間あるときにでも助言いただけますと助かります。 １年ほど運営しているサイトがあります。 検索避けを行っていますが、１週間ほど前よりyahoo検索に引っかかるようになりました。 調べたところyahooのキャッシュ削除は難しいようですので .htaccessなどで対策をとろうと思っています。 疑問なのは、yahoo検索結果の表示についてです。 検索結果の多くは、 タイトルリンク ページ内テキスト一部 ＵＲＬ ブックマーク キャッシュリンク という表示構成のようですが、自サイトの検索結果の表示は タイトルリンク ＵＲＬ のみの表示となっています。 以上について、次の４点を伺います。 1).これはキャッシュとは異なるものでしょうか？ 2).異なるのであれば具体的にどのようなシステムで検索結果に表示されるのでしょうか？ 3).METAタグや.htaccessでの対策は的外れなものでしょうか？ 4).的外れであれば、METAタグや.htaccess以外の効果的な検索避け対策があればご教示いただきたいです。 １点でもご存知のものがあれば情報頂けますとうれしいです。 よろしくお願いいたします。 -------------------------------------------------- ◇参考までに◇ 現在の検索避け対策は、下記METAタグ記載（サイト内全ページ）のみです。 <meta name="robots" content="none"> <meta name="robots" content="noindex,nofollow"> <meta name="robots" content="noimageindex"> <meta name="robots" content="noimageclick"> <meta name="robots" content="noarchive">
- ベストアンサー
- その他（インターネット・Webサービス）
- .htaccessとMETA タグ教えてください
いつもお世話になります。 今サイトのことで困ってることがありまして相談させてください。 一つはサイトを検索避けしたいのですが そのタグがよくわからないんです。 METAタグを使うらしいのですが、何個も使うと認知されないとか不具合が起きるみたいな話を聞いたので何がいいのかわかりません。 主にロボットに拾われたくないんです。 そして次は特定の訪問者を弾くタグなんですが どうも私のサイトに韓国からアクセスがあり無断転載されてるようなんです。 なので韓国からのアクセスを弾く（主に日本語圏以外を）タグを調べたら.htaccess を使うことがわかりました。 でもどういう記述にすればいいのかがちょっとわかりません。 一応使ってるサーバー（さくらインターネット）は .htaccess を置いても大丈夫みたいなんですが サーバーによって.htaccess の内容は同じ対策目的（例えばロボット避け）でも 変わるものなんでしょうか？ 直リンクも.htaccess を使えば禁止できるらしいのですが それらのタグを少し教えていただけませんか？ 最初のMETAタグと共にわかるところがあればアドバイスください；
- 締切済み
- HTML
- 検索エンジンの結果表示について
Yahoo!のウェブ検索について質問です。 趣味で運営しているwebサイトがあるのですが、 3月頃に検索をかけたときは普通に結果表示されていたのに、 ・サイト名で検索 → 結果に掲載されない ・ドメインで検索 → 掲載されている というように変わってしまいました。 また、この変化に伴って…だと思うのですが、 robots.txtやmetaタグで検索よけを実施しているページが、ドメイン名でウェブ検索したときに 拾われてしまうようになりました。 （結果表示がおかしくなる前後に、robots.txtの内容やタグの記述は一切変えていません。） ※googleで検索した場合は、 サイト名でもきちんと結果表示され、検索よけしているページは拾われないようになっています。 そこでお聞きしたいのですが、 ・サイト名で検索結果に表示されなくなってしまった理由は、いったい何なのでしょうか？ ・robots.txtやmetaタグを読み込んでくれなくなった原因は何が考えられるでしょうか？ また、あらためて読み込ませるようにする方法はあるでしょうか？ 2点のうち1点だけでも構いません。 おわかりになる方がいらっしゃいましたら、ご回答いただけると助かります。
- ベストアンサー
- HTML
- metaタグについてです・・・ロボット検索時において・・・
<meta name="robots" content="index,follow"> このタグを打てばロボット検索が拾ってくれると書いてあったのですが、このindex,followはどういうことなのでしょうか？ indexはそのHTMLファイル名じゃないとダメなのでしょうか？ このタグの説明を希望します。 よろしくお願いします。 http://www.robot-search.com/search_04.htm
- ベストアンサー
- その他（インターネット・Webサービス）
お礼
早速やってみます。