- ベストアンサー
googelbot.comについて
掲示板に問題となる投稿があり、 その投稿のホストやユーザーエージェントを見たところ、以下のようでした。 （一部〇〇と伏せました） ホスト: crawl-66-249-69-〇〇.googlebot.com ブラウザ: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) これを調べてみるとgooglebot.comとはロボットの巡回プログラム（クローラー）のようですが クローラーが投稿するなどありえるのでしょうか？
- masa-25
- お礼率41% (59/142)
- ネットトラブル
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
クローラーが投稿をすることはありません ですから、ページの取得ではないでしょうか サーバのログには、POSTになっているのですか？それともGETですか？ GETだと確実にページを取得しているだけでしょう IPv4って理論的にはIPアドレスを偽装することは出来ます。 ほぼこれはないのに等しいですけどね
関連するQ&A
- 自分のホームページをGoogleに未登録なのに…
最近、自分のホームページ（ブログではない）を作りました。 Googleなどの検索サイトには、URLを登録していないのに、アクセス解析を見ると、 ホスト名「crawl-66-249-69-55.googlebot.com」 ユーザエージェント「Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)」や「Googlebot-Image/1.0」などが、アクセスしにきます。 未登録でも、巡回しにくるなんてことがあるのでしょうか？ また自分でも調べてみましたら、「ボットになりすまして、人間が閲覧している可能性もある」とのこと。そんなことも、一般的によくあるのでしょうか？ 詳しい方がいらっしゃいましたら、回答よろしくお願い致します。
- 締切済み
- ネットトラブル
- Google botとブラウザ別アクセス
ブログを開設しているのですが、ブラウザの事で質問があります。 サーバーの「ブラウザ別アクセス」を見るとどんなブラウザでア クセスしてきたかが分かります。 例えばインターネット・エクスプローラーとかネットスケープと かです。 この「ブラウザ別アクセス」で確認したところ、次のようなブラ ウザがありました。 DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1;+http://www.google.com/bot.html) これは携帯電話機のドコモを使ってアクセスしてきたという事で すか？「N505i」という機種を使ってる人がアクセスして来たと いうことでしょうか？ だとするとその後ろにある「Google bot」とはどういう事でしょ うか？グーグルボットというのは検索エンジンのグーグルのスパ イダーの事ですよね？ボット（ロボット）が巡回して見にきたと いう事でしょうか？ だとすると「ドコモ N505i」とはつじつまがあわなくなります。 ちなみに私が自分でアクセスすると下記のようになります。 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) マイクロソフトのＩＥ・６．０を使用しているのでこのように なります。 だとすると次のアクセスはグーグル・ボットが巡回して見にき たという事でしょうか？ Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) グーグルボットは携帯用とパソコン用の２種類あるということ でしょうか？私にはよく分かりません。詳しい方教えて下さい。 よろしくお願い致します。
- 締切済み
- ブログ
- FC2のアクセス解析を見たら
FC2のアクセス解析を見たら ホスト crawl-66-249-79-161.googlebot.com は プロバイダ googleクローラー となっているのですが ホスト google-proxy-66-102-6-201.google.com プロバイダ google となっています。 この プロバイダ google は何なのでしょうか？ クローラーとはまた別の者ですよね？
- ベストアンサー
- SEO
- アクセス解析
現在アクセス解析をしているのですが、下記のアクセスを良く見かけます。 crawl-66-249-70-188.googlebot.com crawl-66-249-70-193.googlebot.com crawl-66-249-70-198.googlebot.com crawl-66-249-72-114.googlebot.com これはgoogleの検索エンジンロボット？が徘徊した跡でしょうか? それともスパム類のものでしょうか? 検索ロボットの場合、ヤフーのロボットはあるのでしょうか? アクセス解析では初心者ですので、何かいい無料のツールなどがございましたらご紹介頂ければ幸いです。
- ベストアンサー
- その他（ITシステム運用・管理）
- グーグルサイトマップ で robots.txt が勝手に作成される。
グーグルウェブマスターツールでモバイルサイトマップを登録し、 数日後、サイト設定 → クローラーのアクセス を見てみると、 robots.txt を作成していないにもかかわらず、 行 4: Crawl-delay: 8 Googlebot によりルールが無視されました 行 7: Crawl-delay: 5 Googlebot によりルールが無視されました 行 10: Crawl-delay: 5 Googlebot によりルールが無視されました 行 13: Crawl-delay: 8 Googlebot によりルールが無視されました 行 16: Crawl-delay: 8 Googlebot によりルールが無視されました 行 19: Crawl-delay: 8 Googlebot によりルールが無視されました 行 22: Crawl-delay: 5 Googlebot によりルールが無視されました 行 25: Crawl-delay: 5 Googlebot によりルールが無視されました 行 28: Crawl-delay: 8 Googlebot によりルールが無視されました 行 31: Crawl-delay: 5 Googlebot によりルールが無視されました 行 34: Crawl-delay: 5 Googlebot によりルールが無視されました 行 37: Crawl-delay: 8 Googlebot によりルールが無視されました 行 40: Crawl-delay: 10 Googlebot によりルールが無視されました という文字列が解析結果に記載されておりました。 また、http://●●●.com/robots.txt というＵＲＬがクリック出来るようになっており、クリックするとアクセスが出来、 User-agent: Slurp Crawl-delay: 8 User-agent: msnbot Crawl-delay: 5 User-agent: nutch Crawl-delay: 5 User-agent: yeti Crawl-delay: 8 User-agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Crawl-delay: 8 User-agent: naverbot Crawl-delay: 8 User-agent: googlebot Crawl-delay: 5 User-agent: dotbot Crawl-delay: 5 User-agent: twiceler Crawl-delay: 8 User-agent: yandex Crawl-delay: 5 User-agent: Teoma Crawl-delay: 5 User-agent: BoardReader Crawl-delay: 8 User-agent: Exabot Crawl-delay: 10 このようなテキストファイルが表示されました。 自分では作成しておらず、もちろんサーバーにはアップしておりません。 ＦＴＰでサーバー内を探してもそのような txtファイルは存在しておらず、削除も出来ず困っております。 普通に全部のページにクローラーに巡回してほしく、制限をかけるつもりもありません。 いろいろ調べたのですが、 行 4: Crawl-delay: 8 Googlebot によりルールが無視されました この文章の意味も良く理解が出来ず、クローラーの制限がかけられていたら嫌だなと思い、早急に対処法が知りたく思っております。 どうぞよろしくお願い致します。
- 締切済み
- インターネットビジネス
- アクセスログUSER_AGENTで これは何の足跡？
KENT WEBさんのAccess ReportをSSIでアクセスログ採取しています。 HTTP_USER_AGENTでMSIE6、MSIE5などのブラウザ情報やGooglebot、 FAST-WebCrawlerなど巡回ロボットの足跡が確認できました。 で、以下の足跡ですが、検索エンジンクローラーのようでもないし 何を見に来たのでしょうか。分かる方、教えていただけませんか？ Microsoft URL Control (ホスト*.ocn.ne.jp *.dion.ne.jpなど) W3CRobot/5.4.0 libwww/5.4.0（ホスト*.vce-lab.net）
- 締切済み
- その他（インターネット・Webサービス）
- ホームページのログ集計 Google クロールについて
ホームページのログ集計をしています。 純粋な閲覧件数を確認しているのですが、下記ホストの件数が桁違いに 多くなっています。 crawl-66-249-66-***.googlebot.com 自分で調べてみたのですが、Googleのクロールと言われているもの というところまではわかりました。 純粋に人が閲覧した件数を集計する場合は、Googleのアクセス数は 除いた方がいいのでしょうか？ よろしくお願い致します。
- ベストアンサー
- HTML
- 判別不能とされるアクセスについて
趣味のホームページにアクセス解析を設置しています。 掲示板にＵＲＬをリンクしたりせずに なるべく小規模に使うようにしていましたが、 ある時から「リンク元・判別不能」と表示されるアクセスが増えました。 解析された内容は次の通りです。 「リモートホスト crawl-＜＜数字３桁が４つ＞＞.googlebot.com リンク元(リファ) - ディスプレー(サイズ不明)×(カラー数不明) JavaScript Off ブラウザOS 判別不能 ブラウザ Googlebot-Image/1.0Googlebot-Image/1.0 」 ＜＜数字３桁が４つ＞＞の部分は毎回違うのですが、 その他の部分はいつも同じです。 訪問回数は「はじめての訪問」と表示されます。 良くない掲示板にリンクでも張られているのかと 心配しています。 この状況からどのようなことが推測できるか わかる方がいらっしゃいましたらお願いします。
- ベストアンサー
- その他（インターネット・Webサービス）
- 掲示板のログを追跡したい
自分の掲示板をあらされてしまいました。 掲示板の書き込みは基本的にメールで 届くようにしてあります。 そこに出ているデータで個人まで 追跡できないでしょうか？ またそういったことができるサービス、 企業、個人ご存知ないでしょうか？ よろしくお願いします。 ちなみに、データ内容は ホスト名：64.124.150.135.safeweb.com ブラウザ：Mozilla/4.0 (compatible; MSIE 5.0; Mac_PowerPC) です。
- ベストアンサー
- その他（インターネット・Webサービス）
- 定期的なユーザーエージェントのないアクセス
ＩＰはわかるのですが「Mozilla/3.01(compatible;)」だけのユーザーエージェントのアクセスが数分おきにあります。 ロボットでしょうか？ だれかがＨＰの更新をチェックするため巡回ツールを使ってアクセスしているのでしょうか？ それともプロキシサーバーのページをリフレッシュするための動作でしょうか。 嫌がらせかなとも思いました。 こんなアクセスがあった場合どのように解釈すればいいでしょうか。 ロボットでの巡回の場合リクエストや転送量は普通に閲覧した場合と同じ程度にかかるのでしょうか？ （同じだけかかるとなると数分おきのためかなり気になります） はじいたほうがいいのかそのままでもかまわないのかよくわからないため、どなたかおわかりになる方がいたら教えていただけないでしょうか。 よろしくおねがいします。
- ベストアンサー
- その他（インターネット接続・通信）
