• ベストアンサー
※ ChatGPTを利用し、要約された質問です（原文：ip制限のベーシック認証を用いた場合のクローラーさんについて）

クローラーさんがクロールする内容について

このQ&Aのポイント
  • クローラーさんがベーシック認証をクリアできなかった場合、戻り先URLに飛ばされ、その内容がクロールされない可能性があります。
  • 携帯からのアクセスの場合はベーシック認証を行わず、パソコンからのアクセスの場合にのみ認証を行います。
  • 戻り先URLには携帯のサイトにリダイレクトする処理を設定することで、携帯用の検索エンジンに登録される可能性を高めることができます。

質問者が選んだベストアンサー

  • ベストアンサー
回答No.1

.htaccess の中身を以下のようにしたら行けるのでは？ 携帯もブラウザ名で許可した方が楽な気がする ###### .htaccessの中身########以下検索エンジンのUser-Agent BrowserMatchNoCase "Googlebot" Lilith BrowserMatchNoCase "Slurp" Lilith BrowserMatchNoCase "Crawler" Lilith BrowserMatchNoCase "msnbot" Lilith ##### 以下は 携帯電話のUser-Agent BrowserMatchNoCase "UP. Browser" Lilith BrowserMatchNoCase "DoCoMo" Lilith BrowserMatchNoCase "CLDC" Lilith BrowserMatchNoCase "J-PHONE" Lilith #### 以上までが許可するブラウザ(名称の一部) 以下は認証部分 AuthType Basic AuthName " password please AuthUserFile "/home/hoge/.htpasswd" <Limit POST GET> require valid-user Satisfy any # ↑これが肝 ## User-Agentで一致するかまたは パスワード入力となる order deny,allow deny from all allow from env=Lilith </Limit> #### .htaccessの中身は以上 参考URL列記 http://httpd.apache.org/docs/2.0/ja/mod/mod_setenvif.html#browsermatchnocase http://www.yuzuriha.sakura.ne.jp/~akikan/kaigai/kaigai19.html http://www.openspc2.org/userAgent/

  1. カテゴリ
  2. [技術者向] コンピューター
  3. その他([技術者向] コンピューター)

関連するQ&A

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

質問する