あるクローラー（ロボット）が異常にアクセスしてくるのですが...

質問

ご指導よろしくお願いします。
私の運営しているサイトの一日のアクセス数は、PVで3000ほどなのですが、
ここ2,3日のアクセス解析を見ましたところ、1時間に1000以上のアクセスが続いています。
当然一般のユーザーからのアクセスではなく、クローラーです。
その異常にアクセスしてくるクローラーのホストが

「38.99.13.×××」

なんですが、どこから来ているのかが知りたいのです。
検索してみたのですが、”これだっ！”という情報を探すことができず、
こちらに投稿させていただきました。

何卒ご指導の程、よろしくお願いいたします。

回答No.2

celtis

WHOISで確認すると、そのグローバルIPはワシントンDCにあるCogent Communications(Performance Systems International Inc.)という老舗のプロバイダみたいですね。そのプロバイダの利用者が何か妙なことをしているのではないでしょうか？

迷惑行為を受けていると直接連絡すれば、何かしら対処してくれるかもしれません。
http://www.cogentco.com/htdocs/index.php

お礼

celtis 様、ご返信が遅くなりまして申し訳ございません。
諸事情によりPCのクリーンインストールを余儀なくさせられてしまい、
セッティングに時間がかかってしまいこちらにログインできない状態でした。

当サイト上のファイルのスクリプトを再確認したところ、バグを発見いたしました。どうやら無限ループが発生していたようです。
何とか解決に至りましたので、ご報告申し上げます。

ありがとうございました。

回答No.1

spacech5p2

はずしているかもしれませんが，中国の検索エンジンのクローラが凄くて困っていたことがあります．baidu.com (百度）という検索エンジンです．

とりあえず iptables かファイアウォールか何かで弾くのが正しい対処法ではないでしょうか？

補足

spacech5p2 様、ご指導ありがとうございます。
baidu.com (百度）は、当方も疑いを持ったのですがIPが違うようなかんじでしたので、こちらに投稿したしだいです。

日本IDCのIPアドレス：
122.152.128.0 ~ 122.152.128.255
122.152.129.0 ~ 122.152.129.255

説明不足ですいません。

いずれにしても今回のようにやたらアクセスしてくるクローラーは、弾くべきなんでしょうかね～？