• ベストアンサー

robots.txt によりアクセスが制限されています

ウェブマスターツールの robots.txt によりアクセスが制限されていますのところに１１個入ってしまって殆ど検索に皮下からなくなってしまいました。。 これを解除する方法とかはあるでしょうか？ ちなみにアダルト系のブログです。

画像を拡大する

質問者が選んだベストアンサー

  • ベストアンサー
  • qwerjpo
  • ベストアンサー率44% (39/88)
回答No.1

robots.txtはクローラのファイルとディレクトリへのアクセスを制御するために使われるものなので、アクセスできるようにしたいなら直接削除すればいいんじゃないでしょうか？ 同じような質問は「robots.txt によりアクセスが制限されています」と検索するといろいろ出てきますよ。

samusamu4545
質問者

お礼

回答ありがとうございます。 ページがどこにあるのかわからないものもあって困ってます。。 特に作った記憶もないです。 最終検出日は2010/03/02で、 更新は2010/03/06です。

samusamu4545
質問者

補足

エラーページの中に １９７２年のアーカイブページや ほかにも作った覚えもないようなページがあります。。 ブログの管理画面いってもこのようなページがないので削除もできません。。

  1. カテゴリ
  2. インターネット・Webサービス
  3. セキュリティ対策・ネットトラブル
  4. ネットトラブル

関連するQ&A

  • robots.txt

    いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。 当サイトのグーグルのウェブマスター ツール で確認してみたところ、 「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。 「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。 以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？ こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？ 今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？ どう対処していったらいいのしょうか？ robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？ どうごご助言よろしくお願い致します。

    • ベストアンサー
    • HTML
  • robots.txtを再作成したいのですが…

    こんばんは。 tubmlrをやっているのですが、 以前、検索エンジンに自分のページが出なくなっていたのでウェブマスターツールで調べてみたら、 robots.txtが消えていたんです。 どうしたら再作成できますか？

  • robots.txtの置き場所について

    ウェブマスターツールを使い始めた初心者です。 私のウェブサイトはプロバイダがサービスでくれたもので、URLが www.プロバイダのサーバ.ne.jp/~ユーザーのID となっています。 robots.txtを置きたいのですが、 ウェブマスターツールで私がrobots.txtを置くURLは、 http://www.プロバイダのサーバ.ne.jp/robots.txt となっています。。 私のユーザーのIDのついてないURLにはアップロードできないと思うのですが・・・ どうしたらいいのでしょうか？ FFFTPでpublic_htmlの下にアップロードしたところ、やっぱり認識されずずっと404(見つかりませんでした)と言われてます。。。

  • クローラーがrobots.txtを巡回しない

    クローラーがrobots.txtを巡回しないため、毎回手動で再送信をしています。 robots.txtの内容はマスターツールで確認してもエラーもなく正常に表示されています。 あとは制限などをしている可能性があるのはhtaccessくらいですが、robots.txtの巡回を妨げるようなものはあるのでしょうか？ 何か理由がお分かりの方がいましたらアドバイスをお願いします。

  • 「robots.txt による URL 制限」

    所有するＨＰ（Googleでドメインを取得し、Google Appsで管理しています)について、Googleのウェブマスターツールを使用し、クローラのアクセスをしたところ、「サイトをクロールした際に検出されたクロールエラー」として、「robots.txt により URL が制限されています」、という結果が４件現われました。 素人なので、その意味するところもよく理解できていないのですが、ここ数日、ＨＰへの訪問者数が大きく減少していることと関連している気がします。 なお、robots.txt により URL が制限されています、という４件のＵＲＬは、いずれも所有するＨＰのメインのサイトそのものです。 本件はどのように判断すべきなのでしょうか。 Google社に質問を出そうにも、同社は利用者からダイレクトに質問を受けることをしておらず、連絡の取りようがありません。 なお、所有するＨＰへの最大Traffic Sourceは、米国人サイト利用者一般への閲覧情報提供・閲覧マネジメントサービスを提供する米国会社ですが（URLを調べた結果です）、このURLをGoogleの解析機能でチェックしたところ、「このWebサイトは、有害なプログラムを転送するか、オンライン詐欺に関係していることが確認されています。この画面を閉じてください。」という表示が出てきます。 私のＨＰが、クローラアクセスのクロールエラーで「robots.txt により URL が制限されています」とされているのも、このことと無関係ではないような気がします（私のＨＰが有害なサイトとして扱われているのではないかと。なおＨＰは全て英語のサイトです）。 上記の現象をどう解釈したらいいのか、robots.txt によるURL制限を外すにはどうしたらいいのか、またGoogle社に個別質問を出す方法などについて、どなたかお教えいただけませんでしょうか。 ある特定の日を境にＨＰ閲覧者数の極端な減少が発生しており、非常に困っていますので、どうかよろしくお願いいたします。

  • robots.txt

    初歩的なアクセス解析を試みているのですが、robots.txtへのアクセスがよくあります。これは検索エンジンがサイトを回ってアクセスしていると考えればよいのでしょうか？

  • robots.txtはどこに置くのですか？

    自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)

  • robots.txt HTTP/1.1" 404 208 について

    よろしくお願いします。 ２年ほど自宅サーバーでＨＰを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 　　・ 　　・ ※ 行数は１アクセスに対して４～８行程度。（日によって変わる） ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ（OCN）のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかと考えています。 判る方がおられましたら宜しくご指導ください。 その他の環境 OS：WindowsXP SP2 通信：NTTフレッツADSL＋ルーターモデムWebCaster620 マシン：SONY VAIO デスクトップ機（CPU：800MHz AMD Duron）

  • robots.txt HTTP/1.1 404 208 について

    ２年ほど自宅サーバーでＨＰを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 　　・ 　　・ ※ 行数は１アクセスに対して４～８行程度。（日によって変わる） ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ（OCN）のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかとも考えています。 ちなみに、セキュリティソフトはシマンテックのインターネットセキュリティを使っており、ウイルスやスパイウェアの検出は確認されていません。 判る方がおられましたら、ぜひ宜しくご指導ください。 その他の環境 OS：WindowsXP SP2 通信：NTTフレッツADSL＋ルーターモデムWebCaster620 マシン：SONY VAIO デスクトップ機（CPU：800MHz AMD Duron）

  • robots.txtにおいて全てを許可する記述ですが以下の二つの違いは

    robots.txtにおいて全てを許可する記述ですが以下の二つの違いはあるのでしょうか？ User-agent: * Disallow: User-agent: * Allow: / よく上が紹介されていますがgoogleウェブマスターツールで生成すると以下の記述になります どちらでもまったく同じ効果であると考えていいのでしょうか？

    • ベストアンサー
    • HTML

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する