- ベストアンサー
.htaccessの検索除け方法とは？
arlquinの回答
- arlquin
- ベストアンサー率23% (3/13)
私の捉え方が間違えていたら失礼します。 そもそもクローラーのIP情報を調べて主要なIPを弾く仕様にしたらいいと思います ━━━━━━━━━━━━━━━━━━━━ order allow, deny allow from all #Google 2010/05/20 deny from 72.14.199.0/25 deny from 209.85.238.0/25 ・ ・ ・ ━━━━━━━━━━━━━━━━━━━━ みたいな形式です。 主要所のIP情報なら http://www.dspt.net/tools/mobile_ip/ こちらのサイト簡単に.htaccessを作成する事が出来ます。 ただこれは許可の為のなので2点修正します。 修正点1 ＝＝＝＝＝＝＝＝＝ order deny,allow deny from all ↓ 修正 order allow, deny allow from all ＝＝＝＝＝＝＝＝＝ 修正点2 ＝＝＝＝＝＝＝＝＝ #Google 2010/05/20 allow from 72.14.199.0/25 allow from 209.85.238.0/25 ・ ・ ・ ↓ 修正 #Google 2010/05/20 deny from 72.14.199.0/25 deny from 209.85.238.0/25 ＝＝＝＝＝＝＝＝＝ バイドウなど他の検索エンジンも調べればIP情報が出てくると思うので こちらを確認してアクセスを遮断すれば良いと思います。
関連するQ&A
- .htaccessでUser-Agentを検出して弾きたい
現在、 .htaccessで SetEnvIf User-Agent "Iria" deny_ua order allow,deny allow from all deny from env=deny_ua としています。 これに、User-Agentを持たずアクセスしてくる人を弾きたいのですがどのようにすればよいでしょうか？ 下記のようにすればいいようにも思うのですが自信がありません。 ご存知の方教えて下さい。 宜しくお願い致します。 SetEnvIf User-Agent "Iria" deny_ua SetEnvIf User-Agent "" deny_ua order allow,deny allow from all deny from env=deny_ua
- ベストアンサー
- ハードウェア・サーバー
- .htaccessの更新とＩＰ拒否
検索避けの為、meta/robots.txt/.htaccessを入れています。 今入れてるのは以下の.htaccessですが SetEnvIf REFERER "search.yahoo.co.jp" Ref1 SetEnvIf REFERER "google.co.jp/search" Ref2 SetEnvIf REFERER "excite.co.jp/search" Ref3 SetEnvIf REFERER "infoseek.co.jp/OTitles" Ref4 SetEnvIf User-Agent "Googlebot" Ref5 SetEnvIf User-Agent "Slurp" Ref6 SetEnvIf User-Agent "msnbot" Ref7 Order Allow,Deny Allow from all Deny from env=Ref1 Deny from env=Ref2 Deny from env=Ref3 Deny from env=Ref4 Deny from env=Ref5 Deny from env=Ref6 Deny from env=Ref7 入れて数ヶ月は検索結果に全く出なかったので「あー効いてるかな？」と思っていたのですが、先日yahooでにて自サイト名で検索かけたら一番上にヒットしました。 一応、そこから飛んでも403エラーが出て直接は来れないようになってはいますが…。クローラーに拾われるのは避けられてないってことですよね。 .htaccessの記述は最初のままなんですが、これって記述をたびたび変更したほうが良いのでしょうか？（たとえば順番や名前を変えるなど） 記述やクローラーの最新情報というものがなかなか見つからないので、けっこう前のデータを参考に作っているので…。 更にIPでも弾こうかとも考えていますがどのように表記するのが効果的でしょうか？
- 締切済み
- HTML
- .htaccessについて教えてください。
添付した画像のようなディレクトリ構造のサイトをつくりAndroidとiPhoneからのアクセスのみを許可するように (1)の.htaccessには SetEnvIf User-Agent "Android" ok1 SetEnvIf User-Agent "iPhone" ok2 order deny,allow deny from all allow from env=ok1 allow from env=ok2 と記述し、 http://adcde.heteml.jp/access/index.htmlからだけのjsファイルへのアクセスを許可しようと (2)の.htaccessには SetEnvIf Referer "^http://adcde\.heteml\.jp" ShowOK SetEnvIf Referer "^$" ShowOK <Files ~ "\.(js)$"> order deny,allow deny from all allow from env=ShowOK </Files> と記述しました。 PCからhttp://adcde.heteml.jp/accessとすると403 errorForbiddenとなり思ったようにいくのですが、PCからhttp://adcde.heteml.jp/access/js/test.jsとするとjavascriptの中身が表示されてしまいます。 AndroidとiPhone以外からのアクセスは(1)の.htaccessで拒否されるのでは？また、(2)の.htaccessでjsファイルへの直リンクを避けているのでは？と、うまくきません。.htaccessの記述や設置する場所、またヘテムルのサーバー側の原因かなどを教えていただきたく思い投稿しました。いろいろなサイトを調べながらの.htaccessの知識で、あまりよく分かっていません。詳しく教えていただければありがたいです。よろしくお願いします。
- ベストアンサー
- JavaScript
- .htaccessの記述
さくらのレンタルサーバを使っています。 SetEnvIf User-Agent "Googlebot" shutout1 SetEnvIf User-Agent "Slurp" shutout2 SetEnvIf User-Agent "msnbot" shutout3 SetEnvIf Referer "google\.co\.jp" shutout4 SetEnvIf Referer "yahoo\.co\.jp" shutout5 SetEnvIf Referer "google\.com" shutout6 order allow,deny allow from all deny from env=shutout1 deny from env=shutout2 deny from env=shutout3 deny from env=shutout4 deny from env=shutout5 deny from env=shutout6 （改行） 新しくつくったページですので検索ロボットにはまだ拾われていないのでGmailで実験しましたが、http://mail.google.com/mail/～ からアクセスできてしまいます。アスキーモードで転送し、ファイル名もOKです。何がダメなのでしょうか… あと、「SetEnvIf Referer "google" shutout*」と記述すれば「google」を含むアドレスからのリンクはまとめてすべて拒否できますか？ よろしければチェックをお願いします。
- ベストアンサー
- HTML
- htaccess？？
.htaccessを設置したいのですが、.htaccessではいろいろな条件を拒否したり許可したりできますよね？ たとえば、指定したホストからのアクセスを拒否したい、と同時に画像の直リンクを防ぎたい。という場合、どう表記すればいいのでしょうか？ order allow,deny deny from all deny from ｘｘｘｘｘ（拒否したいホスト） deny from ｘｘｘｘｘ SetEnvIf REFERER "ｘｘｘｘｘ（自サイトのＵＲＬ ）" Ref1↓ Order Deny,Allow↓ Deny from all↓ Allow from env=Ref1↓ AddHandler cgi-script htaccess とこんな感じでつらつらと並べていいものでしょうか？ 初歩的な質問でごめんなさい。 良かったら教えてください。
- 締切済み
- その他（インターネット・Webサービス）
- .htaccessによる検索結果からのアクセス拒否
サイトにロボ避けをかけていたのですが、yahooのみ登録されてしまいました。 yahooトップの検索で自サイトの名前（普段でもよく使うような名詞）のみ入力し検索をかけるとけっこう上位に入ってしまう状態です。キャッシュは表示されていません。 なので、主要な検索サイトによる検索結果からのアクセスを拒否したいと考え、はじめて.htaccessを設置してみたのですが…設定やパーミッションなどはあっているはず（テストページでやってみたらきちんとエラーが出た）…なのですが、実際に入口（注意書き付き）index.htmlが置いてある一番上のルートディリクトリに.htaccessを置いてみたところ、機能していないようでした。 アドレスバーにurlを直接入力しても行けてしまいます。 どこか置く場所などが間違っているのでしょうか。 そもそも、.htaccessを置いて「検索結果一覧に表示された自サイトのurlリンクから飛ぶのを拒否する」ことは可能なのでしょうか？一度登録されてしまうと無理なのか…ちょっと解らなくなってしまいました。 サーバーはロリポップを使用しており、.htaccessは有効です。 ちなみに.htaccessファイルの内容は以下の通りです。 SetEnvIf REFERER "yahoo.co.jp/search" stop SetEnvIf REFERER "yahoo.com/search" stop SetEnvIf REFERER "excite.co.jp/search" stop SetEnvIf REFERER "infoseek.co.jp/OTitles" stop SetEnvIf User-Agent "Googlebot" stop SetEnvIf User-Agent "Slurp" stop SetEnvIf User-Agent "msnbot" stop Order Allow,Deny Allow from all Deny from env=stop 初心者でお恥ずかしい限りですが、教えて頂けると幸いです。 宜しくお願い致します。
- ベストアンサー
- HTML
- .htaccessで困ってます
.htaccessで携帯のIPのみ接続を許可しています 現在の設定は ------------------------------ order deny,allow deny from all #docomo allow from 210.153.84.0/24 #ezweb allow from 210.169.40.0/24 #softbank allow from 123.108.236.0/24 #willcom allow from 61.198.142.0/24 ErrorDocument 403 http://転送先 #自分のIP allow from ○.○.○.○ ------------------------------- ※docomoとかのIPリストは省略してます これにクローラーのＩＰを許可させようとすると 500エラーになってしまいます どこがダメなのでしょう・・・？ ------------------------------ order deny,allow deny from all #docomo allow from 210.153.84.0/24 #ezweb allow from 210.169.40.0/24 #softbank allow from 123.108.236.0/24 #willcom allow from 61.198.142.0/24 ErrorDocument 403 http://転送先 #自分のIP allow from ○.○.○.○ #クローラー allow from△.△.△.△/△ ------------------------------- #自分のIP allow from ○.○.○.○ で許可されていたので、もう１つ追加した形なのですが・・ △/△という指定方法で許可する事は難しいですか？
- 締切済み
- その他([技術者向] コンピューター)
- .htaccessについておしえてください。
外部からjsファイルを直リンクなどで、見られないようにできないかと考えています。.htaccessで特定のサイトからのみ参照を許可するという記事を見ました。 例えばヘテムルのサーバでhttp://abc.heteml.jp/def/index.htmlからの参照を許可するのに、.htaccess に以下のように書きました。 SetEnvIf Referer "http://abc.heteml.jp/def/index.html" allow_ref SetEnvIf Referer "^$" allow_ref order deny,allow deny from all allow from env=allow_ref .htaccess については全然分かっていません。記事に載っていた内容を少し変える程度なので、詳しく教えていただきたいと思い、投稿しました。jsファイルを見られないようにすることはできるのか？また、.htaccessの参考サイトなどあれば教えてください。
- 締切済み
- JavaScript
- .htaccessを読み込まなくなりました
ちょっと事情があり、yahoo検索結果からのアクセスを拒否したいので.htaccessをトップに置いていたのですが、設置して2週間ほどは結果をクリックしてもちゃんとエラーページが出て、来れないようになってましたが、最近またつながるようになってしまい？？？？です。 何故なのか理由がわかりません。ちゃんと効いていたようなので間違ってはいないはずなんですが…。 ちなみにタグは以下のものを入れています。あとrobots.txtも入れています。 SetEnvIf REFERER "search.yahoo.co.jp/search" Ref Order Allow,Deny Allow from all Deny from env=Ref yahooの方の機能などが原因なのでしょうか。 もぃご存知の方いらっしゃいましたら教えて下さい。
- 締切済み
- HTML
お礼
勉強になりました。ご回答ありがとうございます。