robots.txt設定後、携帯サイトがgoogleで表示されなく
- PCコンテンツをクロールさせたい場合は、User-agentを「*」に設定し、Allowを使用します。
- モバイルコンテンツをGooglebot-Mobileにクロールさせたい場合は、User-agentを「Googlebot-Mobile」に設定し、Allowを使用します。
- モバイルコンテンツをgoogleにクロールさせたくない場合は、User-agentを「Googlebot」に設定し、Disallowを使用します。
- ベストアンサー
robots.txt を設定後、携帯サイトがgoogleで表示されなく
robots.txt を設定後、携帯サイトがgoogleで表示されなくなってしまいました ■「PCコンテンツ」はgoogleにクロールさせたい User-agent: * Allow: / ■「モバイルコンテンツ」はGooglebot-Mobileにクロールさせたい User-agent: Googlebot-Mobile Allow: /mobile Allow: / ■「モバイルコンテンツ」はgoogleにクロールさせたくない User-agent: Googlebot Disallow: /mobile Allow: / つもりで記述したところ モバイルがgoogleで表示されなくなってしまいました 間違っていますか？ よろしくお願いいたします
- maimai0629
- お礼率80% (28/35)
- その他（プログラミング・開発）
- 回答数1
- ありがとう数4
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
User-agentがGooglebot-Mobileのクローラーが来ても、 ＞User-agent: Googlebot にマッチするからでは？ 2番目と3番目の記述順番を入れ替えれば良いような気がします。
関連するQ&A
- robots.txtにおいて全てを許可する記述ですが以下の二つの違いは
robots.txtにおいて全てを許可する記述ですが以下の二つの違いはあるのでしょうか？ User-agent: * Disallow: User-agent: * Allow: / よく上が紹介されていますがgoogleウェブマスターツールで生成すると以下の記述になります どちらでもまったく同じ効果であると考えていいのでしょうか？
- ベストアンサー
- HTML
- robots.txtの書き方のことで？
robots.txtの書き方の事で質問です。 http://abcd.com/himitu1/ http://abcd.com/himitu2/ http://abcd.com/himitu3/ という3つのフォルダ内を隠したい場合は User-Agent: * Disallow: /himitu1/ Disallow: /himitu2/ Disallow: /himitu3/ このような書き方でいいでしょうか？ また、robots.txtはサーバーのトップにアップさせるだけでいいのでしょうか？ よろしくお願いします。
- ベストアンサー
- HTML
- robots.txtについて
サイトを検索されないようにする時にrobots.txtを使うのはわかったのですが、逆に自分のページを検索にひっかかるようにする時にはrobots.txtを置いて、 User-agent: * Allow: / と書けばいいのでしょうか？ それともrobots.txt自体いらないのでしょうか？
- ベストアンサー
- HTML
- robots.txtの書き方
同じような質問を見ても良くわからなかったので、質問させていただきます。 HPを制作し、robots.txtを使ってロボット除けをする場合、 -------------- User-agent: * Disallow: / -------------- "--------------"内の文を書く事は分かりましたが、 とあるHTML説明サイトでは -------------- User-agent: * Disallow: / -------------- の様に"Disallow: /"の下を一行空けておかないと効果がないと 書かれていました。 けれどほかのサイトではそのような説明はないし、 『直接このページを保存して～』の様にすでに文を打ってある .txtページをリンクして書いてあったので見てみると、 行を空けていなかったのです。 一体どっちなのでしょうか？ それとも空けても空けなくても良いのですか？ HTMLファイルではなくtxt.ファイルの内容なので、場所違いかとも思いましたが、 こちらに書かせていただきました。
- ベストアンサー
- HTML
- robots.txtの書き方
ルートディレクトリから以下のような構造の配置でアップしているサイトがあるのですが、この全ての"zzz"のフォルダ以下をクロールされないようしたいのです。 /a/zzz/ /c/zzz/ /i/zzz/ 今robots.txt内には下記のように書いています。 User-agent: * Disallow: /a/zzz/ Disallow: /c/zzz/ Disallow: /i/zzz/ このように書くしかないのでしょうか。 全て同じフォルダ名なのでできれば一気に指定したいのですが・・・ 方法があればよろしくお願いします！
- ベストアンサー
- HTML
- グーグルサイトマップ で robots.txt が勝手に作成される。
グーグルウェブマスターツールでモバイルサイトマップを登録し、 数日後、サイト設定 → クローラーのアクセス を見てみると、 robots.txt を作成していないにもかかわらず、 行 4: Crawl-delay: 8 Googlebot によりルールが無視されました 行 7: Crawl-delay: 5 Googlebot によりルールが無視されました 行 10: Crawl-delay: 5 Googlebot によりルールが無視されました 行 13: Crawl-delay: 8 Googlebot によりルールが無視されました 行 16: Crawl-delay: 8 Googlebot によりルールが無視されました 行 19: Crawl-delay: 8 Googlebot によりルールが無視されました 行 22: Crawl-delay: 5 Googlebot によりルールが無視されました 行 25: Crawl-delay: 5 Googlebot によりルールが無視されました 行 28: Crawl-delay: 8 Googlebot によりルールが無視されました 行 31: Crawl-delay: 5 Googlebot によりルールが無視されました 行 34: Crawl-delay: 5 Googlebot によりルールが無視されました 行 37: Crawl-delay: 8 Googlebot によりルールが無視されました 行 40: Crawl-delay: 10 Googlebot によりルールが無視されました という文字列が解析結果に記載されておりました。 また、http://●●●.com/robots.txt というＵＲＬがクリック出来るようになっており、クリックするとアクセスが出来、 User-agent: Slurp Crawl-delay: 8 User-agent: msnbot Crawl-delay: 5 User-agent: nutch Crawl-delay: 5 User-agent: yeti Crawl-delay: 8 User-agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Crawl-delay: 8 User-agent: naverbot Crawl-delay: 8 User-agent: googlebot Crawl-delay: 5 User-agent: dotbot Crawl-delay: 5 User-agent: twiceler Crawl-delay: 8 User-agent: yandex Crawl-delay: 5 User-agent: Teoma Crawl-delay: 5 User-agent: BoardReader Crawl-delay: 8 User-agent: Exabot Crawl-delay: 10 このようなテキストファイルが表示されました。 自分では作成しておらず、もちろんサーバーにはアップしておりません。 ＦＴＰでサーバー内を探してもそのような txtファイルは存在しておらず、削除も出来ず困っております。 普通に全部のページにクローラーに巡回してほしく、制限をかけるつもりもありません。 いろいろ調べたのですが、 行 4: Crawl-delay: 8 Googlebot によりルールが無視されました この文章の意味も良く理解が出来ず、クローラーの制限がかけられていたら嫌だなと思い、早急に対処法が知りたく思っております。 どうぞよろしくお願い致します。
- 締切済み
- インターネットビジネス
- robots.txtはどこに置くのですか？
自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)
- ベストアンサー
- ブログ
- Googleモバイルにインデックスされません
はじめまして。事象として具体的に説明しますと、Googleウェブマスターのサイトマップで 携帯用サイトマップを登録しても、「携帯」ではなく、「ウェブ」でインデックス登録されてしまっていて 困っています。 携帯（ガラケー）向けサイトを運営の方で、同様の事象や、インデックスされない事象が 他のサイトなどでも多く見受けられますが、下記に記載させていただくとおり たいていのことは既に実施させていただいているところです。 考えられる原因や、他対応策などございましたらご教示いただけませんでしょうか。 「いまさらガラケーなんて・・・」というお話もありますが、わたくしの受け持つクライアント様のサイトで本当に困っております。 どうか、ご協力いただけますと大変助かります。どうぞよろしくお願い申し上げます。 ※何か対策検討に際して、必要な情報がございましたらご連絡いただけますと幸いです。 お答えできることであれば何でも情報提供させていただきたいと考えております。 ■すでに実施済みの対策 (1)携帯UA振り分け .htaccessによってPC、スマートフォン、携帯のUA（ユーザーエージェント）で振り分けています。 ※docomo、au、softbank 上記携帯や、Googlebot-Mobile、Y!J-SRDなどのUAでアクセスがあった場合は /m/***.htmlと、携帯用URLにリダイレクトさせています。 (2)XHTMLで書く＆各キャリアでDOCTYPE宣言を変える XHTMLで各DOCTYPE宣言を変えた方が携帯ページとしてインデックスされるという話を聞き、 http://ke-tai.org/blog/2009/10/14/doctype/ 上記を参考にdocomo、au、softbankでDOCTYPE宣言を出しわけしています。 (3)Yahoo!モバイルなどの大手携帯検索サイトから外部リンクをもらう Yahoo！モバイルカテゴリ登録サイトです。他にもいろいろ携帯サイトからリンクされています。 (4)Googleサイトマップに登録 モバイル用のサイトマップを登録しています。 (5)robots.txtで、モバイルの階層である、/m/には、Googlebotを拒否し、 Googlebot-Mobileは受け入れる設定を施しています。 ※内容は下記 User-Agent: Googlebot Disallow: /m/ User-Agent: Googlebot-Mobile Allow: /m/ User-Agent: Slurp Disallow: /m/ User-Agent: Y!J-SRD/1.0 Allow: /m/ User-Agent: Y!J-MBS/1.0 Allow: /m/ (6)他、携帯でインデックスされるようなこと http://www.plusmb.jp/2009/04/03/3127.html 上記で書かれていることは実施しています。 以上です。何卒よろしくお願い申し上げます。
- 締切済み
- SEO
- yahooの検索結果に表示されてしまう
サイトの入口ページに、 <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW,NOARCHIVE"> 及び robots.txtにて User-agent: * Disallow: / User-agent: ia_archiver Disallow: / User-agent: googlebot Disallow: / User-agent: Slurp Disallow: / と書いたものをアップロードしているのではありますが、何故かずっと、yahooの検索結果にサイトが表示されてしまいます。 htaccess.で来られなくするのでは、検索結果にサイト名が表示されている事は相変わらず変わらないので、×です。 どうにかしてyahooの検索結果から自サイトの名前を削除したく、悩んでおります。 何か良い知恵など御座いましたら、ぜひとも宜しくお願い致します。
- 締切済み
- その他（インターネット・Webサービス）
- タグやrobots,txtを入れているのに…！？
趣味性が強いページなので、最初各種検索避けメタタグを入れていました。 ところがyahoo！でひっかかるようになってしまったので、robots.txt（内容は以下） User-agent: * Disallow: / をトップディリクトリに置いた所、検索結果には出てもエラーページ扱いになり、その後検索結果にも出なくなりました。 …が、チェックの為、数週間ぶりに検索してみたら、再び出るようになってしまいました…！エラーページは出ないし、今までなかった「○○人がブックマークしてます」の表示がつくようになっていました。 これは一体何故なんでしょうか。robots.txtも意味がないということでしょうか。それともブックマークに影響があるのか… オンラインブクマが原因とも聞いたことがありますが、真偽がわからないのでその旨サイトに表記してよいか迷ってます。 .htaccessで避ける方法をとった方がいい場合、表記はどうすればよいのでしょうか（初めてなので調べたんですが、色々な書き方があるようでわからなくなってしまいました） ご存知の方、教えていただければありがたいです。
- ベストアンサー
- HTML
お礼
ありがとうございます ご回答いただいた通り、2番目と3番目の記述の順番を入れ替えてみました。 クロールされないことには結果がわかりませんので、様子を見てみたいと思います。 それまで、この質問はそのままにさせてください。 ↓下記の通り、修正しました↓ User-agent: * Allow: / User-agent: Googlebot Disallow: /mobile/ Allow: / User-agent: Googlebot-Mobile Allow: /mobile/ Allow: /
補足
長く放置してすみませんでした。 最近ようやくgoogleに表示されてきました。 ですが、以前はgoogle検索をすると1位だったキーワードがいまだに表示されていません。 もう少し様子を見てみます。 ありがとうございました。