- ベストアンサー
robots.txtで指定したファイルを弾きたいんですが
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
他のページからリンクしていなければ、弾かなくても検索されることはないと思います。ひょっとして既に検索結果に表示されてしまっているのでしょうか？ であれば、.htaccessで所定のファイル（名前にtestを含むファイル）のみBASIC認証を入れるとか自分のIP以外からは拒否するなどの方策を採った方がいいかもしれません。
関連するQ&A
- robots.txtについて
サイトを検索されないようにする時にrobots.txtを使うのはわかったのですが、逆に自分のページを検索にひっかかるようにする時にはrobots.txtを置いて、 User-agent: * Allow: / と書けばいいのでしょうか？ それともrobots.txt自体いらないのでしょうか？
- ベストアンサー
- HTML
- robots.txtの設置場所
SEO対策のため、今いろいろ苦労しています。 きちんとロボットにインデックスさせるため、sitemap.xmlを設置し、 robots.txtにsitemap.xmlの在りかを記述しようとしているところで 一つ問題が発生しました。 robots.txtはドメインのトップディレクトリに配置するとの事ですが、 私のサイトは【http://www.example.com/】というドメイン直下にいる形ではなく 【http://www.example.com/mysite/】というURIなんです。 こういった場合はrobots.txtは配置できないのでしょうか？ もし、イイ方法がありましたら、ご教授下さい。 宜しくお願い致します。 ※最初、間違えて『その他([技術者向] コンピューター) 』の方に質問してしまいました。 重複していますが、こちらに質問すべきだったと思いなおし、改めて こちらから質問します。内容的には同じですがお許し下さい。
- ベストアンサー
- HTML
- robots.txtについて
あるサイトさんの隠しページというかなんというかところに行きたいのですがコメントにそのページは『検索エンジンに登録されないようrobots.txtを使用しています。』と書かれていたんですが、どのようにしたら行くことができるのでしょうか？ そもそもrobots.txtというものはなんでしょうか? よろしくお願いします。
- ベストアンサー
- ブログ
- robots.txtの確認
わたしのブログがインデックスされていないようです。 確認してみますと Disallow: /wp-adimin/ となっています。 robots.txtの確認のしかたについて調べたところ、クローラーに巡回させるには Disallow: と「/」を消すとありました。 わたしのサイトのrobots.txtでは、wp-adminの前と後に「/」があるのですが 前の「/」だけを消せばいいのでしょうか？
- 締切済み
- SEO
- robots.txt
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。 当サイトのグーグルのウェブマスター ツール で確認してみたところ、 「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。 「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。 以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？ こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？ 今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？ どう対処していったらいいのしょうか？ robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？ どうごご助言よろしくお願い致します。
- ベストアンサー
- HTML
- robots.txtについてお尋ねします。
googleの検索へＨＰを登録させたいのですが、robots.txt解析結果というのが表示さらrobots.txt無効 と出ました。 これは、どういう事なのでしょうか あまりこう言ったものには詳しくないので困っています。 http://www.google.com/support/webmasters/bin/answer.py?answer=35220&hl=ja 上記ＵＲＬのヘルプ検索から「robots.txt無効」をキワード入力したのですが、難しくて意味がよくわかりません。 何方かご存知の方が居ましたら教えて頂きたいのですが 宜しくお願いします。
- ベストアンサー
- その他([技術者向] コンピューター)
- robots.txt
初歩的なアクセス解析を試みているのですが、robots.txtへのアクセスがよくあります。これは検索エンジンがサイトを回ってアクセスしていると考えればよいのでしょうか？
- ベストアンサー
- その他（インターネット接続・通信）
- 「Robots.txtを無視する」とは？
自動巡回ソフトのHELPにRobots.txtという単語がよく出てくるのですがこれ はなんなのでしょうか。また、これを無視するという表現が設定にあるのです がこの意味も教えてください。
- ベストアンサー
- その他（インターネット接続・通信）
- FC2ホームページでrobots.txtを設置する方法
閲覧ありがとうございます。 FC2さんにて無料ホームページを作ろうとしているのですが、検索避けのためのrobots.txtをルートディレクトリに設置する方法がわかりません。 アップロードの仕方はわかるのですが、元からFC2さんの方で設置されているindex.htmlを変更して一番上のファイルとしてrobots.txtを置くためにはどのようにしたらいいのでしょうか。 ご存知の方がいらっしゃいましたら、是非教えて頂けると幸いです。
- ベストアンサー
- その他（インターネット・Webサービス）
- robots.txtやＣＧＩを設置したいのですが
二次創作サイトのみ可で、無料のサイトスペース（審査制）をお借りしている者なのですが、１つ相談があります。 そのサーバーからアカウント発行のメールを頂いたときに、 「html/index.html として置かれたファイルが、インデックスページとなります」 「ウェブサイトを公開する場合は、html/以下に置いて下さい」 とありました。 ＦＴＰを繋いで見ると、確かに最初から「html」というディレクトリがありましたし、ここの中にindex.htmlを置くと、http://*******.jp/発行したアカウント となりました。 今のところアクセス解析のＣＧＩと、robots.txtを設置しようと思っています。 それで、今まではインフォシークの無料サーバーを使っていたものですから、「cgi-bin」というディレクトリを作り、その中にＣＧＩを入れなければいけませんでしたが、特に何も書かれていない場合、ディレクトリの指定があるかどうかも分かりません。 また、robots.txtは ttp://sp999.oheya.jp/tips/tips/03_robots.htm このサイトによると、 自分のサイトのトップディレクトリにrobots.txtをアップロードする。 とありますが、これは「html/」の中にアップロードしなければいけないのか、その外にアップロードしなければいけないのか分かりません。 なので上記２つを、サーバーの管理人さんにメールで問い合わせてみようと思っているのですが、大丈夫でしょうか。 審査制のところなので、「ある程度のＣＧＩ知識が必要」といわれていましたが、私は日記ＣＧＩのnicky!くらいしか設置したことありませんし（それでも審査は通ったのですが）、 これくらいでメールするなよ、と管理人さんに叱咤されそうな感じもします。 よろしければ、アドバイスお願いします。
- ベストアンサー
- レンタルサーバ・ASP
お礼
あ、そういうことなんですか。 納得しました。それなら問題ないと思います。 ありがとうございましたm(_ _)m