「robots.txt による URL 制限」

質問

所有するＨＰ（Googleでドメインを取得し、Google Appsで管理しています)について、Googleのウェブマスターツールを使用し、クローラのアクセスをしたところ、「サイトをクロールした際に検出されたクロールエラー」として、「robots.txt により URL が制限されています」、という結果が４件現われました。

素人なので、その意味するところもよく理解できていないのですが、ここ数日、ＨＰへの訪問者数が大きく減少していることと関連している気がします。
なお、robots.txt により URL が制限されています、という４件のＵＲＬは、いずれも所有するＨＰのメインのサイトそのものです。

本件はどのように判断すべきなのでしょうか。
Google社に質問を出そうにも、同社は利用者からダイレクトに質問を受けることをしておらず、連絡の取りようがありません。

なお、所有するＨＰへの最大Traffic Sourceは、米国人サイト利用者一般への閲覧情報提供・閲覧マネジメントサービスを提供する米国会社ですが（URLを調べた結果です）、このURLをGoogleの解析機能でチェックしたところ、「このWebサイトは、有害なプログラムを転送するか、オンライン詐欺に関係していることが確認されています。この画面を閉じてください。」という表示が出てきます。
私のＨＰが、クローラアクセスのクロールエラーで「robots.txt により URL が制限されています」とされているのも、このことと無関係ではないような気がします（私のＨＰが有害なサイトとして扱われているのではないかと。なおＨＰは全て英語のサイトです）。

上記の現象をどう解釈したらいいのか、robots.txt によるURL制限を外すにはどうしたらいいのか、またGoogle社に個別質問を出す方法などについて、どなたかお教えいただけませんでしょうか。

ある特定の日を境にＨＰ閲覧者数の極端な減少が発生しており、非常に困っていますので、どうかよろしくお願いいたします。

回答No.1

naokita

文章の通りなら、自分で設置したrobots.txtで、
Disallow: /　してるって事です。
解除するとクロール制限が無くなります。

後半部分の有害サイト云々の事は何の事かわかりません。

Googleへの個別質問は一切受付していません。
ウェブマスター　ヘルプ/フォーラムにて、
たまーに社員さんが回答をくれる程度です。
http://www.google.com/support/forum/p/webmasters?hl=ja

実際のサイトURLを提示して、予測とか無しに詳細に説明しましょう。
または、
素人とか、急ぎなら制作会社やコンサルなどに有料でご相談を。

お礼

ありがとうございます。
私自身はプログラムの知識はないのでクロール制限などできませんので、なぜそのような結果になっているのか不思議です。
Googleの無料ブログを利用しているので制作会社はありませんが、誰か専門家に相談してみようと思います。
なお「有害サイト」云々は、私のブログのtraffic sourceの最大者（いつの間にか他を圧倒しての最大者になっていたようです）が、そのＵＲＬを叩くとなぜか有害サイトに指定されています（このサイトも元は有害サイト扱いではなかったようですが）。
ご回答、たいへんありがとうございました。