アクセス制限による携帯サイトのクローラー対策

2008/04/23 22:52

このQ&Aのポイント

携帯サイトのクローラー対策について調べています。PCからのアクセスを制限するため、.htaccessとmod_rewriteを使用してIPの振り分けを行いました。しかし、この方法だと携帯のクローラーも制限されてしまいます。クローラーを許可する方法や別の対策方法を教えてください。
携帯サイトのアクセス制限について悩んでいます。PCからのアクセスを制限するためにIPの振り分けを行いましたが、この方法では携帯のクローラーも制限されてしまいます。クローラーを許可する方法や他の対策方法について教えてください。
携帯サイトのアクセス制限について質問です。PCからのアクセスを制限するためにIPの振り分けを試みましたが、この方法では携帯のクローラーまで制限されてしまいます。クローラーを許可する方法や別のアプローチについてアドバイスをいただけませんか？

アクセス制限による携帯サイトのクローラー対策について

http://xxx.jp というサイトを携帯用に作成しています。 PCからは閲覧されたくないため、まず http://xxx.jp/index.htmlには、「このサイトは携帯専用です。ドコモはhttp://xxx.jp/i/index.htmlへ。ソフトバンクはhttp://xxx.jp/s/index.htmlへ。auはhttp://xxx.jp/e/index.htmlへ」とリンクによる表記をしました。 .htaccessのmod_rewriteによるIPの振り分けで、PCからのアクセスはhttp://xxx.jp。ドコモからのアクセスはhttp://xxx.jp/i/index.html。ソフトバンクからのアクセスはhttp://xxx.jp/s/index.html。auからのアクセスはhttp://xxx.jp/e/index.htmlへと振り分けました。しかし、このままでは、PCから直接http://xxx.jp/i/index.html、http://xxx.jp/s/index.html、http://xxx.jp/e/index.htmlへアクセスすると、見えてしまいます。なので、iの階層には、.htaccessでドコモ以外のIPアドレスを拒否。sの階層には、.htaccessでソフトバンク以外のIPアドレスを拒否。eの階層には、.htaccessでau以外のIPアドレスを拒否しました。しかし、これでは携帯のクローラーもはじいてしまいます。そこで、クローラーはIPの許可をしたいのですが、いまいちどのようにしたらいいのかわからないのです。たとえば、クローラーがhttp://xxx.jpにアクセスしてきたとします。そしたら、上記の設定より、http://xxx.jpの画面を解析するわけです。このとき、.htaccessかmod_rewriteを使って、うまくクローラーをそれぞれの携帯サイトに誘導する手はないでしょうか？また、マッタク違った方法でのアドバイスもございましたら、教えていただけると幸いです。どうかよろしくお願い致します。

masarin16
お礼率71% (64/89)

その他([技術者向] コンピューター)
回答数1
ありがとう数1

みんなの回答 （1）
専門家の回答

質問者が選んだベストアンサー

ベストアンサー

shimix
ベストアンサー率54% (865/1590)

2008/04/23 23:13 回答No.1

クローラのIPはともかくUserAgentは既知ですよね？「携帯キャリア以外のIPを拒否」している.htaccessに「クローラのUAは許可」を付け足せばいいのでは？

質問者

お礼 2008/04/23 23:41

shimixさんへさっそくのご回答、ありがとうございます。 UserAgentなのですが、偽装が簡単にできるらしいので、できればIPによる制限を――と考えています。けれど、携帯キャリア以外のIPを拒否している.htaccessにクローラーのUAを許可は、なるほどと思いました。UAのIPのほうを.htaccessに登録すると、とりあえず携帯サイトにクローラーがきてくれるってことですよね？