クローラーさんがクロールする内容について

前へ 次へ
このQ&Aのポイント
  • クローラーさんがベーシック認証をクリアできなかった場合、戻り先URLに飛ばされ、その内容がクロールされない可能性があります。
  • 携帯からのアクセスの場合はベーシック認証を行わず、パソコンからのアクセスの場合にのみ認証を行います。
  • 戻り先URLには携帯のサイトにリダイレクトする処理を設定することで、携帯用の検索エンジンに登録される可能性を高めることができます。
回答を見る
  • ベストアンサー

ip制限のベーシック認証を用いた場合のクローラーさんについて

携帯サイトを作成しております。 今回、下記のサイトを参考にし、ipアドレスを用いて 携帯からのアクセスの場合はベーシック認証を行なわず パソコンからのアクセスの場合はベーシック認証を行なうように しようと思っております。 http://www.skytown.ne.jp/support/htaccess/ht-ip-id.html ただ、ひとつ気になったことがあります。 携帯のIPアドレスからはベーシック認証を行なわず それ以外のIPアドレスからはベーシック認証を行なうと クローラーさんを確実に弾いてしまいますよね？ クローラーさんのIPアドレスを１コ１コ調べてIP制限を 解除する方法も考えたのですが、カナリの量があるため 実用的ではないですよね。 そこで、１つ考えてみました。 パソコンをはじめ、クローラーさんが来たときに ベーシック認証が行なわれ、認証に失敗したときの 戻り先URLを作成し、そこにサイト名とサイトの概要を meta要素に書いておくというものです。 あとは、body内にも「携帯専用」とQRコードを載せておこうと 考えております。 そして、携帯から認証に失敗したときの戻り先URLに 直接アクセスがあった場合、携帯のサイトにリダイレクト させようというものです。 けれど、これはクローラーさんが認証に失敗したら 戻り先URLに飛ばされ、飛ばされたURLの情報をクロール することが前提となってきます。 クローラーさんについて、あまりくわしくないので 上記の方法ではたして戻り先URLがクロールされ 携帯用の検索エンジンに登録されるかが不安になったため 質問いたしました。 ぜひ、ご教授のほどよろしくお願いいたします。

質問者が選んだベストアンサー

  • ベストアンサー
回答No.1

.htaccess の中身を以下のようにしたら行けるのでは？ 携帯もブラウザ名で許可した方が楽な気がする ###### .htaccessの中身########以下検索エンジンのUser-Agent BrowserMatchNoCase "Googlebot" Lilith BrowserMatchNoCase "Slurp" Lilith BrowserMatchNoCase "Crawler" Lilith BrowserMatchNoCase "msnbot" Lilith ##### 以下は 携帯電話のUser-Agent BrowserMatchNoCase "UP. Browser" Lilith BrowserMatchNoCase "DoCoMo" Lilith BrowserMatchNoCase "CLDC" Lilith BrowserMatchNoCase "J-PHONE" Lilith #### 以上までが許可するブラウザ(名称の一部) 以下は認証部分 AuthType Basic AuthName " password please AuthUserFile "/home/hoge/.htpasswd" <Limit POST GET> require valid-user Satisfy any # ↑これが肝 ## User-Agentで一致するかまたは パスワード入力となる order deny,allow deny from all allow from env=Lilith </Limit> #### .htaccessの中身は以上 参考URL列記 http://httpd.apache.org/docs/2.0/ja/mod/mod_setenvif.html#browsermatchnocase http://www.yuzuriha.sakura.ne.jp/~akikan/kaigai/kaigai19.html http://www.openspc2.org/userAgent/

  1. カテゴリ
  2. [技術者向] コンピューター
  3. その他([技術者向] コンピューター)

関連するQ&A

  • アクセス制限による携帯サイトのクローラー対策について

    http://xxx.jp というサイトを携帯用に作成しています。 PCからは閲覧されたくないため、まず http://xxx.jp/index.htmlには、「このサイトは携帯専用です。ドコモはhttp://xxx.jp/i/index.htmlへ。ソフトバンクはhttp://xxx.jp/s/index.htmlへ。auはhttp://xxx.jp/e/index.htmlへ」とリンクによる表記をしました。 .htaccessのmod_rewriteによるIPの振り分けで、PCからのアクセスはhttp://xxx.jp。ドコモからのアクセスはhttp://xxx.jp/i/index.html。ソフトバンクからのアクセスはhttp://xxx.jp/s/index.html。auからのアクセスはhttp://xxx.jp/e/index.htmlへと振り分けました。 しかし、このままでは、PCから直接http://xxx.jp/i/index.html、http://xxx.jp/s/index.html、http://xxx.jp/e/index.htmlへアクセスすると、見えてしまいます。なので、iの階層には、.htaccessでドコモ以外のIPアドレスを拒否。sの階層には、.htaccessでソフトバンク以外のIPアドレスを拒否。eの階層には、.htaccessでau以外のIPアドレスを拒否しました。 しかし、これでは携帯のクローラーもはじいてしまいます。 そこで、クローラーはIPの許可をしたいのですが、いまいちどのようにしたらいいのかわからないのです。 たとえば、クローラーがhttp://xxx.jpにアクセスしてきたとします。 そしたら、上記の設定より、http://xxx.jpの画面を解析するわけです。 このとき、.htaccessかmod_rewriteを使って、うまくクローラーをそれぞれの携帯サイトに誘導する手はないでしょうか？ また、マッタク違った方法でのアドバイスもございましたら、教えていただけると幸いです。 どうかよろしくお願い致します。

  • クローラの可能性

    クローラプログラムについて質問です。 クローラを使用して、パスワード等の認証機能のかかったHPサイトの リンク先にあるページから文章等の情報をを取得することは可能なのでしょうか？ 勿論、パスワード等は事前にわかっている場合です。 また、クローラはイントラでも情報取得することは可能なのでしょうか？ 知識が無いので、当たり前の事を聞いていた場合申し訳ありません。

  • IP制限について。

    IPアドレス制限によるコンテンツサービスを作成中です。 特定のクライアント（固定IPアドレス）限定のサービスコンテンツ予定なのですが、 各コンテンツ毎に制限はかけられているのですが、メインページも制限したく四苦八苦しております。 アドバイスいただければ幸いです。 ▼やりたいこと TOPページの一部にAバナーとBバナーを用意し、 予め登録してあるIPアドレスからのアクセスであればAバナーが表示。 それ以外のIPアドレスからのアクセスはすべてBバナーを表示。 ▼もし難しいようであれば・・・ htaccessの記述で登録IPであればIndex.htmlを表示させ、 それ以外であればindex2.htmlのように別サイトにリダイレクト？させる。。。 こんなことができるのでしょうか？ もし可能であれば、できるだけ詳細なやり方をご教唆くださいませ。 宜しくお願いいたします。

    • ベストアンサー
    • CSS
  • .htaccessによる海外IP制限とクローラー巡回について

    お教えください。 現在、サイトを運営しておりますが、 契約の関係上、海外からサイトを見れないように、.htaccessを使用して、IPアクセス制限を掛けています。 参考： ---------------------- order deny,allow deny from all allow from 58.0.0.0/15 allow from 58.3.0.0/17 allow from 58.3.128.0/17 allow from 58.4.0.0/15 ・ ・ ・　　（数百を羅列） ---------------------- この場合、各社が提供する検索エンジン用のクローラーもはじいてしまっている状態なのでしょうか？ 特にYahoo!でのカテゴリ登録マークが表示されなくなってしまっており、検索順位の下降を心配しています。 詳しい方、クローラーをはじいてしまっているかどうか　＆　回避方法をご教授願えれば幸いです。

  • PCと携帯のクローラー

    yahooやgoogleのクローラーはパソコン用、携帯用と別のようですが、パソコン用のクローラーは携帯サイトを見分けているのでしょうか？ また、携帯のクローラーはPCのサイトを読みにきているんでしょうか？

  • クローラーについて質問です

    パソコン用のサイトを制作しています。 パソコン用のサイトが完成したら、携帯のサイトでも、パソコン用のサイトで制作した文章をそのまま引用して作成しようと考えています。 そこで、質問です。 パソコン用か携帯用のどちらかのサイトにクローラーが訪れたとき、おなじ文章はスパム行為という扱いを受けたりすることはありますでしょうか？ おなじドメインのなかに「/pc/」「/i/」のような感じで作成するか、パソコン用サイトと携帯用サイトでドメインを変えるかは未定です。 もしも、スパム行為などにあたるようであれば、どのような対応策が効果的でしょうか？ ご教授のほど、よろしくお願いいたします。

  • IPアドレスについて

    あるサイトからリンクしてきた人だけに見せたいページがあります。 しかしリンク元のサイトはリファラーをだしておらず、IPアドレスしかわかりません。 その場合、リンク元のIPアドレスでアクセスを制限させるというCGIは作成可能でしょうか。 ベーシック認証は利用できないサーバーです。 よろしくお願いいたします。

    • 締切済み
    • CGI
  • ウィルコムの携帯サイトでIP制限をかけたい

    現在、ウィルコムの携帯サイトを作成しています。 公開領域に置いてある画像を、 ウィルコム以外の携帯、パソコンではアクセスできない(表示しない)ようにしたいです。 そこで、.htaccessでIPの制限をかけたのですが上手く行きません。 http://www.dspt.net/tools/mobile_ip/ このサイトでウィルコムの.htaccessを作成し、画像があるフォルダに設置。 その後、ウィルコムでアクセスしましたが画像が表示されませんでした。 PHPでウィルコムのIPアドレスを表示したところ、 61.198.138.220 となっており、作成した.htaccessに61.198.138.220を追加したところ、 ウィルコムでは画像が表示され、パソコンでは画像が表示されない、意図した動作になりました。 .htaccessには帯域を表記した　61.198.138.100/32　のようなアドレスを書くのではなく、61.198.138.220　というふうに書かなければならないのでしょうか？

  • クローラーがhtaccessでリダイレクト

    現在、WEBサイトを作成しており、当該サイトは、レンタルサーバーを借りる際にhttpのドメインも一緒に新規で取得しました。 ただ、その後、全ページ　https　で作成していくこととなり、各リンクは全てhttpsでつながっています。 検索エンジンからTOPに入ってくるときに、httpならば、httpsにリダイレクトするように、htaccessに記述していました。 しかし、昨日、googleにサイト登録して、本日まで待ってみたところ、ウェブマスターツールの 「クローラーエラー」と「検索クエリ」はまだ反映されていませんでした。 以前は単純なhttpのサイトですと、1日程度で何かしら反映されていたと思うのですが、 やはりなにか設定が足りないのか、それともクローラーは、htaccessのリダイレクトを読み込まないのでしょうか。 どなたか体験されたことのある方がいらっしゃいましたら、教えてください。 よろしくお願い致します。

  • iphoneでIPアドレス制限携帯サイトを見る方法

    ある携帯サイトをiphoneで見ると、おそらくIPアドレスでアクセスが 制限されていて、PCからの閲覧は制限されています、となってしまいます。Iphoneの携帯サイトをみれるアプリを試したのですが、すべてダメでした。 fireboxの裏技？を使い、パソコンでの閲覧も考えていますが、、、 とにかく、IPアドレスで制限されている携帯サイトをパソコンかiphone(出来ればiphone)でどうにかして見る方法はないでしょうか？

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する