- ベストアンサー
robots
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
User-agent:Baiduspider User-agent:Baiduspider-image User-agent:Baiduspider-video User-agent:Baiduspider-news User-agent:Baiduspider-favo User-agent:Baiduspider-cpro User-agent:Baiduspider-ads クローラーの種類です。 参考してください。(-_-)b
関連するQ&A
- robots.txtの書き方のことで？
robots.txtの書き方の事で質問です。 http://abcd.com/himitu1/ http://abcd.com/himitu2/ http://abcd.com/himitu3/ という3つのフォルダ内を隠したい場合は User-Agent: * Disallow: /himitu1/ Disallow: /himitu2/ Disallow: /himitu3/ このような書き方でいいでしょうか？ また、robots.txtはサーバーのトップにアップさせるだけでいいのでしょうか？ よろしくお願いします。
- ベストアンサー
- HTML
- robotsでロボット巡回拒否のページもきちんと収集してくれるソフト探してます
Webページ巡回ソフト、収集ソフトといわれるものを使ってみたのですがhttp://○○○/robots.txtがあるページのhttp://○○○/index.htmlが読み込めないのです。 どなたかオフライン中でもきちんと読める巡回ソフト教えてください。 robots.txtには User-agent: Hatena Antenna Disallow: User-agent: * Disallow: / と書いてあります。 よろしくお願いします。
- 締切済み
- フリーウェア・フリーソフト
- robots.txtの書き方
同じような質問を見ても良くわからなかったので、質問させていただきます。 HPを制作し、robots.txtを使ってロボット除けをする場合、 -------------- User-agent: * Disallow: / -------------- "--------------"内の文を書く事は分かりましたが、 とあるHTML説明サイトでは -------------- User-agent: * Disallow: / -------------- の様に"Disallow: /"の下を一行空けておかないと効果がないと 書かれていました。 けれどほかのサイトではそのような説明はないし、 『直接このページを保存して～』の様にすでに文を打ってある .txtページをリンクして書いてあったので見てみると、 行を空けていなかったのです。 一体どっちなのでしょうか？ それとも空けても空けなくても良いのですか？ HTMLファイルではなくtxt.ファイルの内容なので、場所違いかとも思いましたが、 こちらに書かせていただきました。
- ベストアンサー
- HTML
- robots.txtの確認
わたしのブログがインデックスされていないようです。 確認してみますと Disallow: /wp-adimin/ となっています。 robots.txtの確認のしかたについて調べたところ、クローラーに巡回させるには Disallow: と「/」を消すとありました。 わたしのサイトのrobots.txtでは、wp-adminの前と後に「/」があるのですが 前の「/」だけを消せばいいのでしょうか？
- 締切済み
- SEO
- robots.txtの書き方
ルートディレクトリから以下のような構造の配置でアップしているサイトがあるのですが、この全ての"zzz"のフォルダ以下をクロールされないようしたいのです。 /a/zzz/ /c/zzz/ /i/zzz/ 今robots.txt内には下記のように書いています。 User-agent: * Disallow: /a/zzz/ Disallow: /c/zzz/ Disallow: /i/zzz/ このように書くしかないのでしょうか。 全て同じフォルダ名なのでできれば一気に指定したいのですが・・・ 方法があればよろしくお願いします！
- ベストアンサー
- HTML
- robots.txtにおいて全てを許可する記述ですが以下の二つの違いは
robots.txtにおいて全てを許可する記述ですが以下の二つの違いはあるのでしょうか？ User-agent: * Disallow: User-agent: * Allow: / よく上が紹介されていますがgoogleウェブマスターツールで生成すると以下の記述になります どちらでもまったく同じ効果であると考えていいのでしょうか？
- ベストアンサー
- HTML
- robots.txtについて
サイトを検索されないようにする時にrobots.txtを使うのはわかったのですが、逆に自分のページを検索にひっかかるようにする時にはrobots.txtを置いて、 User-agent: * Allow: / と書けばいいのでしょうか？ それともrobots.txt自体いらないのでしょうか？
- ベストアンサー
- HTML
- robots.txtはどこに置くのですか？
自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)
- ベストアンサー
- ブログ
- .htaccess の検索除けで、
.htaccess の検索除けで、 CGIディレクトリをクロール巡回されたくないのです。 まずは、ルートにrobots.txtで、 User-agent: * Disallow: /cgi/ バイドゥが無視するらしいので、/cgi/内にも.htaccess で、 SetEnvIf User-Agent "Baidu" deny_ua SetEnvIf User-Agent "Baiduspider" deny_ua order allow,deny allow from all deny from env=deny_ua と書きました。こうで、バイドゥは排除できると思うのですが、 「バイドゥはダメですよ」と書いてあるのでしょうか？ それとも 「他は許可するけどバイドゥはダメですよ」 と書いてあるのでしょうか？ 頭が混乱して良く分からなくなりました。 バイドゥ以外のクローラーが、/cgi/に来ちゃいますか？ 回答お願いします<(_ _)>
- ベストアンサー
- ハードウェア・サーバー
- タグやrobots,txtを入れているのに…！？
趣味性が強いページなので、最初各種検索避けメタタグを入れていました。 ところがyahoo！でひっかかるようになってしまったので、robots.txt（内容は以下） User-agent: * Disallow: / をトップディリクトリに置いた所、検索結果には出てもエラーページ扱いになり、その後検索結果にも出なくなりました。 …が、チェックの為、数週間ぶりに検索してみたら、再び出るようになってしまいました…！エラーページは出ないし、今までなかった「○○人がブックマークしてます」の表示がつくようになっていました。 これは一体何故なんでしょうか。robots.txtも意味がないということでしょうか。それともブックマークに影響があるのか… オンラインブクマが原因とも聞いたことがありますが、真偽がわからないのでその旨サイトに表記してよいか迷ってます。 .htaccessで避ける方法をとった方がいい場合、表記はどうすればよいのでしょうか（初めてなので調べたんですが、色々な書き方があるようでわからなくなってしまいました） ご存知の方、教えていただければありがたいです。
- ベストアンサー
- HTML
お礼
回答ありがとうございます Baiduspiderがこんなに！？もうあきらめるしかないのでしょうか？ robots.txtでははじけないのでしょうか？