ベストアンサー

クローラーについて

2008/09/01 17:31

Webサイトを立てているのですが、最近GoogleやNTT（アメリカ、カナダ）、百度などクローラーからのアクセスが来ます。これは、光栄なことなのでしょうか？

nikogoo
お礼率3% (33/956)

HTML
回答数1
ありがとう数0

みんなの回答 （1）
専門家の回答

質問者が選んだベストアンサー

ベストアンサー

include_ab
ベストアンサー率60% (35/58)

2008/09/01 18:11 回答No.1

クローラは、ウェブ上のリンクを辿りながら情報を集めていきます。光栄と言うよりも、他のサイトからのリンクが増えたので、知名度が上がったという感じですかね。

関連するQ&A

googleクローラー　何してに来てるのでしょうか

自分のサイトのアクセスログを見ると googleクローラーが見に来てるようなのですがこれって何してに来てるのでしょうか？私のサイトを見て、ググった時に表示するかどうかをチェックしに来てるのですか？
クローラーについて

YahooやGooglenoクローラーはどれくらいの頻度でクロールしてくるんでしょうか？また「Googleウェブマスターツール」で確認できる『ホームページクロール』は、Googleのクローラーが直近でクロールしてきた日付と解釈して間違いありませんか？
グーグルクローラー

グーグルクローラーはどうしたら自分のサイトに来てくれるのでしょうか？どういうタグを使えばいいのでしょうか？どういうサイトにすればいいのでしょうか？まだサイトを立ち上げて１週間です。
PCと携帯のクローラー

yahooやgoogleのクローラーはパソコン用、携帯用と別のようですが、パソコン用のクローラーは携帯サイトを見分けているのでしょうか？また、携帯のクローラーはPCのサイトを読みにきているんでしょうか？
クローラーがhtaccessでリダイレクト

現在、WEBサイトを作成しており、当該サイトは、レンタルサーバーを借りる際にhttpのドメインも一緒に新規で取得しました。ただ、その後、全ページ　https　で作成していくこととなり、各リンクは全てhttpsでつながっています。検索エンジンからTOPに入ってくるときに、httpならば、httpsにリダイレクトするように、htaccessに記述していました。しかし、昨日、googleにサイト登録して、本日まで待ってみたところ、ウェブマスターツールの「クローラーエラー」と「検索クエリ」はまだ反映されていませんでした。以前は単純なhttpのサイトですと、1日程度で何かしら反映されていたと思うのですが、やはりなにか設定が足りないのか、それともクローラーは、htaccessのリダイレクトを読み込まないのでしょうか。どなたか体験されたことのある方がいらっしゃいましたら、教えてください。よろしくお願い致します。
クローラーにindexされたか

ホームページをリニューアルしUPしました。ページがクローラーにindexされたかどうかはどこを見ればわかりますか？ yahooサイトエクスプローラーやgoogleマスターツールですか？その他簡単に確認できる方法ありますか？
検索サイトのクローラー（ロボット）

中国やロシアの検索サイト「百度」、「Yandex」のクローラー（ロボット）は、なぜアクセス元ホストやユーザーエージェントを偽装してアクセスしてくるのでしょうか。検索サイトが身元を隠してアクセスしてくる理由、メリットとはなんでしょうか。
クローラはどうやって携帯サイトを認識しているのか

imode用のサイトを作っています。クローラ（例えばgoogle）に、「このサイトはimode(=携帯)」（http://www.google.co.jp/imode/）というように認識してもらえる方法（例えば、それようのタグ）などあるのでしょうか。よろしくお願いします。
google のクローラについて

例） google で「yahoo」検索 ------------------- 日本最大級のポータルサイト。検索、オークション、ニュース、メール、コミュニティ、ショッピング、など80以上の・・・ ------------------- ↑これを検索結果の文言が以下のようになるようにしたいです。 ------------------- 検索、オークション、ニュース、メール、コミュニティ、ショッピング、など80以上の・・・ ------------------- 私が「日本最大級のポータルサイト。」の文言をソースから削除し、アップしたとします。まだ検索結果には「日本最大級のポータルサイト」が残っている状態ですがこれは　次回、googleのクローラが来た時点で、削除された状態になる、と考えてよろしいのでしょうか？それともウェブマスターツール等を使用する必要がありますでしょうか？どなたかご回答頂けると非常に幸いです。
クローラーの携帯サイトの認識について

yahooやgoogleのクローラーはPC向けサイトと携帯サイトをどのようなタグから認識しているのでしょうか？半角カナがあれば携帯、などですか。
あるクローラー（ロボット）が異常にアクセスしてくるのですが...

ご指導よろしくお願いします。私の運営しているサイトの一日のアクセス数は、PVで3000ほどなのですが、ここ2,3日のアクセス解析を見ましたところ、1時間に1000以上のアクセスが続いています。当然一般のユーザーからのアクセスではなく、クローラーです。その異常にアクセスしてくるクローラーのホストが「38.99.13.×××」なんですが、どこから来ているのかが知りたいのです。検索してみたのですが、”これだっ！”という情報を探すことができず、こちらに投稿させていただきました。何卒ご指導の程、よろしくお願いいたします。
GASやEvernoteにクローラーは回るのか？

SEOなどに詳しい人ご質問です。 GASやEvernoteなどでWeb上に情報を公開することが可能ですが、バックリンクがあるとあのようなサイトでもクローラーが周り検索可能になるものなのでしょうか？よろしくお願いします。
【Google評価が低い!】Googleのクローラーが巡回してるかどうか、調べる方法

Web担当初心者です。無料の解析ツールなどを使ってサイト内分析をし、四苦八苦しながらSEO対策に心を砕く毎日…。ご存知の方がいらっしゃいましたらアドバイスをお願いします。 Googleでの評価が低く、悩んでおりました。原因は多々あると思いますが、どうやら「インデックス数が足りない」と評価を受けているようなのです。ページ数は十分あるのでGoogleのクローラーが、サイトのどこまで巡回しているのか調べる方法を知っている方、教えてください。よろしくお願いします！
ホスト名の取得できないアクセスはクローラなのでしょうか？

ホスト名の取得できないアクセスはクローラなのでしょうか？ Webページのアクセス解析でクローラ判別しようとしています。基本はUser-Agentチェックです。これでだいぶはじいたのですが、怪しいのがまだ残ってます。 User-Agentは「Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)」とかクローラっぽいキーワードはありません。 IPアドレスは取れましたが、ホスト名は取得できませんでした。 PHPのgethostbyaddr()でホスト名取得しようとしてもできませんでした。ということは、ホスト名非公開のサーバーってことですよね？普通のユーザさんが使っている普通のプロパイダならホスト名公開しているはずなので、上記のようにホスト名の取得できないアクセスはクローラだというように決め付けても大丈夫でしょうか？ちょっとカテゴリ違いの気もしますが大目に見てください。ご回答よろしくお願いします。
携帯サイトでPC版yahooクローラー以外をアクセス制限するには？

現在携帯サイトを運営しているのですが、パソコンで閲覧した際に、閲覧できないようにPHPで設定しています。ですが、そうするとPC版のyahooやgoogleのクローラーがアクセスできないと思うのですが、パソコンでアクセスできなくして、なおかつクローラーはアクセスできるようにするにはどうすればいいでしょうか？ちなみに現在は下記のように設定してます。 <?php $user_agent = $_SERVER["HTTP_USER_AGENT"]; if(ereg("(MSIE|Mozilla)",$user_agent)){ header("Location: PCで閲覧したときのフォルダ"); exit; }
クローラーについて

私の名前をグーグルやヤフーに入れて検索すると、関係した記事が出てきます。しかし、どれも嫌な文章ばかりで、名前を入れても出てこないようにすることはできないでしょうか？何でもクローラーという巡回機能が関係していると言うことですが、説明文を読んでも良く分かりません。【robots.txtで登録拒否をするには】 robots.txtを置いて登録を拒否する方法は以下のとおりです。・サイトで公開されているすべてのページをモバイル版Yahoo!検索の[サイト検索]の検索対象から除外する場合下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。ファイルの中身（Y!J-SRD/1.0を拒否する場合の例） User-agent: Y!J-SRD/1.0 Disallow: / ・モバイル版Yahoo!検索を含む、すべての検索エンジンから除外する場合下記のテキストを「robots.txt」という名前で保存し、サイトのあるウェブサーバーのトップレベルに置きます。ファイルの中身 User-agent: * Disallow: / これ一体どこにどう貼り付けろと言うのですか？とにかく (1)今までに特定の投稿された文章を、検索されても表示できないようにしたい。 (2)私の名前を検索されても、今後一切関連した文章が表示されないようにした。以上の２点、どなたか分かりやすくご説明して頂けませんか？誹謗中傷ばかりで困っています。
ip制限のベーシック認証を用いた場合のクローラーさんについて

携帯サイトを作成しております。今回、下記のサイトを参考にし、ipアドレスを用いて携帯からのアクセスの場合はベーシック認証を行なわずパソコンからのアクセスの場合はベーシック認証を行なうようにしようと思っております。 http://www.skytown.ne.jp/support/htaccess/ht-ip-id.html ただ、ひとつ気になったことがあります。携帯のIPアドレスからはベーシック認証を行なわずそれ以外のIPアドレスからはベーシック認証を行なうとクローラーさんを確実に弾いてしまいますよね？クローラーさんのIPアドレスを１コ１コ調べてIP制限を解除する方法も考えたのですが、カナリの量があるため実用的ではないですよね。そこで、１つ考えてみました。パソコンをはじめ、クローラーさんが来たときにベーシック認証が行なわれ、認証に失敗したときの戻り先URLを作成し、そこにサイト名とサイトの概要を meta要素に書いておくというものです。あとは、body内にも「携帯専用」とQRコードを載せておこうと考えております。そして、携帯から認証に失敗したときの戻り先URLに直接アクセスがあった場合、携帯のサイトにリダイレクトさせようというものです。けれど、これはクローラーさんが認証に失敗したら戻り先URLに飛ばされ、飛ばされたURLの情報をクロールすることが前提となってきます。クローラーさんについて、あまりくわしくないので上記の方法ではたして戻り先URLがクロールされ携帯用の検索エンジンに登録されるかが不安になったため質問いたしました。ぜひ、ご教授のほどよろしくお願いいたします。
googleMapsをイントラでは使えないということで。

googleのサイトを見たのですが、わからないことがありまして質問させていただきます。 webサーバー上において、robots.txtでクローラーに読ませないようにするというのは、googleの規約に反するのでしょうか。
アクセス制限による携帯サイトのクローラー対策について

http://xxx.jp というサイトを携帯用に作成しています。 PCからは閲覧されたくないため、まず http://xxx.jp/index.htmlには、「このサイトは携帯専用です。ドコモはhttp://xxx.jp/i/index.htmlへ。ソフトバンクはhttp://xxx.jp/s/index.htmlへ。auはhttp://xxx.jp/e/index.htmlへ」とリンクによる表記をしました。 .htaccessのmod_rewriteによるIPの振り分けで、PCからのアクセスはhttp://xxx.jp。ドコモからのアクセスはhttp://xxx.jp/i/index.html。ソフトバンクからのアクセスはhttp://xxx.jp/s/index.html。auからのアクセスはhttp://xxx.jp/e/index.htmlへと振り分けました。しかし、このままでは、PCから直接http://xxx.jp/i/index.html、http://xxx.jp/s/index.html、http://xxx.jp/e/index.htmlへアクセスすると、見えてしまいます。なので、iの階層には、.htaccessでドコモ以外のIPアドレスを拒否。sの階層には、.htaccessでソフトバンク以外のIPアドレスを拒否。eの階層には、.htaccessでau以外のIPアドレスを拒否しました。しかし、これでは携帯のクローラーもはじいてしまいます。そこで、クローラーはIPの許可をしたいのですが、いまいちどのようにしたらいいのかわからないのです。たとえば、クローラーがhttp://xxx.jpにアクセスしてきたとします。そしたら、上記の設定より、http://xxx.jpの画面を解析するわけです。このとき、.htaccessかmod_rewriteを使って、うまくクローラーをそれぞれの携帯サイトに誘導する手はないでしょうか？また、マッタク違った方法でのアドバイスもございましたら、教えていただけると幸いです。どうかよろしくお願い致します。
ヤフーのクローラー巡回について質問です。

ヤフーのクローラー巡回について質問です。現在、仕事でホームページを開設しています。今年の４月ころにヤフーにインデックスされ、検索結果に表示されるようになりました。しかし、それ以降クローラーが回ってきていないのか、ページのタイトルなどが古いままの検索結果が表示され続けています。ちなみにグーグルや、ライブドアなどの検索エンジンでは、HPの更新後３日ほどで検索結果に反映されています。また、ブログなどでもヤフーは他の検索エンジンよりも古いHPが多いと思うのですが、皆様のHPはどうでしょうか？私がしている対策としましては、ヤフーサイトエクスプローラーへの登録、クローラー巡回リクエストなどです。ヤフービジネスエクスプレスには登録していませんが、登録前と、登録後での違いをご存知の方がいらっしゃれば教えていただければと思います。分かりにくい文章で申し訳ありませんが、よろしくお願いいたします。

クローラーについて

質問者が選んだベストアンサー

関連するQ&A

googleクローラー　何してに来てるのでしょうか

クローラーについて

グーグルクローラー

PCと携帯のクローラー

クローラーがhtaccessでリダイレクト

クローラーにindexされたか

検索サイトのクローラー（ロボット）

クローラはどうやって携帯サイトを認識しているのか

google のクローラについて

クローラーの携帯サイトの認識について

あるクローラー（ロボット）が異常にアクセスしてくるのですが...

GASやEvernoteにクローラーは回るのか？

【Google評価が低い!】Googleのクローラーが巡回してるかどうか、調べる方法

ホスト名の取得できないアクセスはクローラなのでしょうか？

携帯サイトでPC版yahooクローラー以外をアクセス制限するには？

クローラーについて

ip制限のベーシック認証を用いた場合のクローラーさんについて

googleMapsをイントラでは使えないということで。

アクセス制限による携帯サイトのクローラー対策について

ヤフーのクローラー巡回について質問です。

注目のQ&A

カテゴリ
一覧

専門家に質問してみよう
専門家登録

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

クローラーについて

質問者が選んだベストアンサー

関連するQ&A

googleクローラー 何してに来てるのでしょうか

クローラーについて

グーグルクローラー

PCと携帯のクローラー

クローラーがhtaccessでリダイレクト

クローラーにindexされたか

検索サイトのクローラー（ロボット）

クローラはどうやって携帯サイトを認識しているのか

google のクローラについて

クローラーの携帯サイトの認識について

あるクローラー（ロボット）が異常にアクセスしてくるのですが...

GASやEvernoteにクローラーは回るのか？

【Google評価が低い!】Googleのクローラーが巡回してるかどうか、調べる方法

ホスト名の取得できないアクセスはクローラなのでしょうか？

携帯サイトでPC版yahooクローラー以外をアクセス制限するには？

クローラーについて

ip制限のベーシック認証を用いた場合のクローラーさんについて

googleMapsをイントラでは使えないということで。

アクセス制限による携帯サイトのクローラー対策について

ヤフーのクローラー巡回について質問です。

注目のQ&A

カテゴリ 一覧

専門家に質問してみよう 専門家登録

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

googleクローラー　何してに来てるのでしょうか

カテゴリ
一覧

専門家に質問してみよう
専門家登録