Google ウェブマスター ツールのクロールエラー(URLエラー)の解決方法

このQ&Aのポイント
  • Google ウェブマスター ツールのクロールエラー(URLエラー)について、解決方法を教えてください。
  • クロールエラーが発生し、アクセスが拒否されている状況です。レスポンスコードは403で、原因はログインの必要性、robots.txtファイルによるアクセス制限、プロキシを使用したユーザー認証やホスティングプロバイダによるアクセスブロックの可能性があります。
  • エックスサーバーを使用しており、ワードプレスを初心者として利用しています。この問題の解決方法について助けを求めています。
回答を見る
  • ベストアンサー

Google ウェブマスター ツールのエラー

Google ウェブマスター ツールのクロールエラー(URLエラー)の解決方法を教えて頂きたいです。 ●「アクセスが拒否されました」というクロールエラーが出ている ●レスポンスコードは403 ●考えられる原因が3つ表示されたのですが、意味がよくわからない という状況です。 考えられる3つの原因は ■あなたのサイトでは、ユーザーがコンテンツを閲覧するにはログインが必須となっているからです (ヒント: この問題を回避するには、ユーザーエージェント Googlebot についてはログインが不要になるように設定してください)。 ■あなたのサイト全体または個々の URL やディレクトリへの Google のアクセスをブロックするように robots.txt ファイルが設定されています。 ■あなたのサーバーが、プロキシを使用したユーザー認証を必須としているか、あなたが使用しているホスティング プロバイダが Google によるあなたのサイトへのアクセスをブロックしている可能性があります。 3つ目に関しては、もはや何のことを言っているのか想像もつきません。 エックスサーバーを借りて、ワードプレスを使用しています。見よう見まねでワードプレスなどを使用していますが、WEB関連の知識は全くの初心者です。 この問題、なにをどうすれば解決できるのでしょうか?どなたか助けて頂けるとありがたいです。 よろしくお願い致します。

質問者が選んだベストアンサー

  • ベストアンサー
  • erigol
  • ベストアンサー率28% (17/59)
回答No.1

あなたのウェブサイトがネットに公開されていないのではないでしょうか。 誰からもアクセスできる状態になっているか確認してみてください、

birth-day
質問者

お礼

ネットでは公開されているようです。robots.txtファイルについてもう少し勉強してみます。回答ありがとうございました!

関連するQ&A

  • 【緊急】Googleウェブマスターツールのエラー

    Googleのウェブマスターツールで7/18付けで「Googleがサイトにアクセスできません」とのエラーが出ていました。 エラー全文↓ --------------------------- Googlebot が robots.txt へのアクセスを試みましたが、過去 24 時間で 41 件のエラーが発生しました。このファイルに指定されているページをクロールしないようにするため、クロールを延期しました。このサイト全体での robots.txt エラー率は 100.0% です。 --------------------------- FTPを確認し、2年前に前任者が設置したhtaccessが、 特定のIPアドレスを50ほど拒否する設定になっていました。 (2年前はスパムアクセスの多いサイトだった為?前任者が退職しているので詳しい理由が分からず) ◆対処した事 1.IP拒否のhtaccessを削除 →htaccessの拒否IPの中にGooglebotのアドレスが含まれていないとも限らないため 2.robots.txtがなかったので、下記の内容にして設置  User-agent: *  Allow: /  Sitemap: http://○○○.jp/sitemap.xml 3.念のためサーバ管理会社に連絡し、 サーバエラーや、サーバ側でのアクセス拒否設定など無いことを確認 その後、ウェブマスターツールに書いてあった通り、Fetch as Googleにてホームページの取得およびrobots.txtへのアクセスを試みましたが、2日経った今日現在も「robots.txt にアクセスできません」エラーが起きています。 Googleの下記フォーラムも確認してみましたが http://productforums.google.com/forum/#!topic/webmaster-ja/8J_0eFCW0tE サーバ側の問題でない場合、robots.txtのAllowとDisallowの違いくらいだと思うのですが・・・・ 上記のウェブマスターツールのエラーは7/11にも出ていたらしく、見逃してしまったせいで現在Googleからインデックスを削除されているようです。(ドメイン名で検索しても出てこない) robots.txtにアクセスできないエラーが解除されないことにはどうしようもないのですが、対処法がありましたら教えて下さい。宜しくお願いします。

  • GoogleウェブマスターツールのURLエラー

    ショッピングサイトを運営してる者ですが、2年程前にサイトを作った時、友人の勧めでGoogleウェブマスターツールに登録し、サイトマップ自動生成ツールでサイトマップを作成し、登録しました。 商品の廃番に伴いページの削除や新規商品ページの新設など、サイトをメンテしながら運営しております。 最近、久しぶりにGoogleウェブマスターツールを開くとクロールエラーの中にURLエラーとして「4ソフト404」と表示されておりました。 過去に削除したページですが、削除済みのページであることをGoogleウェブマスターツールに認識してもらうには、再度サイトマップを生成しなおして、登録しなおす必要があるのでしょうか。 それとも表示されるURLの左にチェックを入れ、修正済みとするだけでよろしいのでしょうか。

  • Googleウェブマスターツール エラー更新について

    Googleウェブマスターツールについて質問致します。 登録後ソース内URLの記述ミスにより、「ウェブクロール」の項目で「見つかりませんでした」が数件検出されました。 その後該当個所を修正し、「ホームページクロール」の日付も更新されたのですが、「ウェブクロール」の「見つかりませんでした」の項目は日付も更新されず、残ったままとなっています。 サイトマップもアップしましたが、この項目のみ更新されないでいます。 どのようにすればこれらの情報も更新されるのでしょうか? ご教授お願い致します。

  • ウェブマスターツール のエラー

    ブログの登録はできているのですが、制作途中のHPがうまくウェブマスターツールに反映されません。 サイトマップのupまで完了して1,2週間ですが、サマリー>ウェブクロールでウェブ クロール エラーが出ています。他のエラーは出ていないのです。そのエラーの内容がよくわかりません。 :このページには、サイト内で Googlebot がクロールできなかった URL が表示されます。 Googlebot が、サイトマップから、または公開クロール中に他のページのリンクからこれらのページを検出しました。表示するエラーのカテゴリを選択してください http://○○○.com/regfreedom.php 404 (見つかりませんでした) 2008/06/07 http://○○○.com/transfer.php 404 (見つかりませんでした) 2008/06/07 http://○○○.com/transfer.php?action=getorder1 404 (見つかりませんでした) 2008/06/07 http://○○○/transfer.php?registrar=rrp 404 (見つかりませんでした) 2008/06/07 このような作成していないファイルを見つかりませんとエラーが出ているのです。エラーもなにも存在しないファイルが無いとエラーを出しているのがよくわかりません。これはどういうことなのでしょうか?

  • googleウエブマスターツール

    googleにインデックスされないのでgoogleウエブマスターツールを使用してますが、現在のステータスのクロールエラーの下のところで長時間くるくる回ってるままです。これはもうインデックスされないということでしょうか?サイトマップやらい色々設定しましたが、ブログ等の記事を更新してもなにしても全くインデックされません。ドメインがスパムドメインかどうかなどもチェックしましたが問題無いです。解決策ありますでしょうか?

    • 締切済み
    • SEO
  • グーグルWebマスターツールのクロールエラーとは?

    グーグルのWebマスターツールにWebサイトを登録しました。 しかし、クロールエラーとなっております。 また、下記のSEO将軍というツールを使って、キーワードをサイト名にして検索順位を調べたら、グーグルは圏外でした。 yahooは0位となってましたが、たしかyahooの検索システムはグーグルと同じですよね?だからyahooも圏外です。 http://shogun.biz-samurai.com/ 上記のことから、グーグルとyahooの検索システムを使ってみても、どこにもwebサイトが表示されません・・・ しかし、bingではキーワードをサイト名にして検索順位を調べたら0位となっており、実際にbing検索システムを使ったら、一番上に表示されてました!! 話しが長くなってしまいましたが、グーグルのクロールエラーとは何でしょうか? また、その改善点があれば教えて頂けないでしょうか?

    • ベストアンサー
    • CSS
  • googleのウェブマスターツールがエラー404で開けません

    初歩的な質問だったらすみません。 googleのウェブマスターツールを使って登録していたのですが うまくいかず今日、再度やり直そうとしたところ ウェブマスターツールのページが開けなくなっていました。 Error 404です。ログインは出来ている状態ですが リンクでも直接アドレスでもエラーのページになってしまいます。 もう1台のPCで試してみたところ そちらでは確認することが 出来ました。しかしながら使いにくいPCなのでできれば自分の PCからもう一度ワブマスターツールが表示されるように したいと思うのですが、原因がわからず困っております。 教えて下さい。よろしくお願いします。

  • ウェブマスターツール

    ウェブマスターツールでアクセス解析をする場合、 自分のサイトに <meta name="google-site-verification" content=" ・・・ を入れないとだめなのでしょうか? それとも、 自分のサイトのサーバーに ウェブマスターツール登録時に発行される google・・・・.html をアプロードすればいいのでしょうか? どちらかを行えばいいのですか? できれば、 <meta name="google-site-verification" content=" ・・・ をソース内に入れることを避けたいのですが。

    • ベストアンサー
    • SEO
  • googleのウェブマスターツールでエラー連発

    一週間ほど前にホームページを立ち上げ、googleのウェブマスターツールにて登録したのですが、 クロールエラーが連発してしまいます。 エラー内容は「HTTPエラー ドメインが見つかりません」となっています。 また、サイトマップを何度送信しても赤い×になり失敗します。 登録しているドメイン(ホームページアドレス)には間違いありませんし、 ドメイン名の前にwww.を付けたものと、http://ドメイン名のものを2つ登録しているのですが、 どちらも同じエラーが発生しています。 エラー数は14となっており、クローラーが巡回してくるたびにエラーになっているようです。 その癖に何故か確認してみると、インデックスはされているのです。 このエラーは無視しても良いのでしょうか? インデックスされていると言うことはSEO対策、もしくはページランクを上げることで上位表示が可能なのでしょうか? インデックスされても上位表示にはすぐに効果が出るものではないので、こういうエラーがでると大丈夫なんだろうかとモヤモヤで先に進めないでいるのですが・・・ どなたかご教授お願いできませんでしょうか。

  • googleウェブマスターツールでwordpressのブログを認証させる方法を教えてください。

    現在wordpress(press9)にてブログを公開していて、googleウェブマスターツールを使おうと思いました。 サイト確認の作業をしようとHTMLファイルをアップロードしたのですが、確認できませんでした。 というよりも、アクセス自体が出来なかったので、 メタタグを使って確認をしようと思いまたが、その方法が分かりません。 どのようにしたら出来るのか教えてください。