- ベストアンサー
robots.txtの置き場所について
- プロバイダが提供するウェブサイトでrobots.txtを配置する方法についての質問です。
- ウェブマスターツールでのrobots.txtのURLの指定方法について、初心者が悩んでいます。
- ユーザーのIDが含まれないURLにはrobots.txtをアップロードできないのか疑問です。
- その他（ITシステム運用・管理）
- 回答数3
- ありがとう数3
- みんなの回答 （3）
- 専門家の回答
質問者が選んだベストアンサー
その他の回答 (2)
- naokita
- ベストアンサー率57% (1008/1745)
置けませんよ。 ルートディレクトリ限定ですから・・・ Googlebotは、サイトを見る前にrobots.txtを見ますから、 サイト最上位の入り口に置かないと意味が無いんです。 例えば、建物の場合、 「立ち入り禁止」の看板は、敷地の入り口付近に誰もが目に付く所にありますよね？ サブディレクトリ型のサイトの入り口は、 プロバイダのサーバ.ne.jp/が入り口で、 ここがルートディレクトリなので、一般ユーザーには権限が無い。 robots.txtで何かの指示をしたいのだと思いますが、 新規質問で、 別の方法を質問した方が良いですよ。 ボット巡回・インデックス拒否など #2さんの提案通りmetaタグで指定出来る場合が多いですから
お礼
勉強不足でディレクトリのことはよく分からないのですが、やっぱりできないことなんですね。 ボット巡回とインデックス拒否をしたいのですが、テキストファイル一個でできるならHTMLのタグが見やすくなっていいかと思ったのですが・・・。 metaタグしかないのですね。 ありがとうございました。
プロバイダのサーバ.ne.jp/~ユーザのID/robots.txt になります。 ツールでは独自のドメインを取得した時を想定しているので、サーバ直下のディレクトリ(フォルダ)ん書いているだけだと思います。
お礼
いちおう置いてみます。もしかして利くことを願い・・・。 ありがとうございました。
関連するQ&A
- robots.txt
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。 当サイトのグーグルのウェブマスター ツール で確認してみたところ、 「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。 「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。 以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？ こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？ 今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？ どう対処していったらいいのしょうか？ robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？ どうごご助言よろしくお願い致します。
- ベストアンサー
- HTML
- robots.txtを再作成したいのですが…
こんばんは。 tubmlrをやっているのですが、 以前、検索エンジンに自分のページが出なくなっていたのでウェブマスターツールで調べてみたら、 robots.txtが消えていたんです。 どうしたら再作成できますか？
- 締切済み
- その他（プログラミング・開発）
- robots.txt によりアクセスが制限されています
ウェブマスターツールの robots.txt によりアクセスが制限されていますのところに１１個入ってしまって殆ど検索に皮下からなくなってしまいました。。 これを解除する方法とかはあるでしょうか？ ちなみにアダルト系のブログです。
- ベストアンサー
- ネットトラブル
- robots.txtの書き方のことで？
robots.txtの書き方の事で質問です。 http://abcd.com/himitu1/ http://abcd.com/himitu2/ http://abcd.com/himitu3/ という3つのフォルダ内を隠したい場合は User-Agent: * Disallow: /himitu1/ Disallow: /himitu2/ Disallow: /himitu3/ このような書き方でいいでしょうか？ また、robots.txtはサーバーのトップにアップさせるだけでいいのでしょうか？ よろしくお願いします。
- ベストアンサー
- HTML
- クローラーがrobots.txtを巡回しない
クローラーがrobots.txtを巡回しないため、毎回手動で再送信をしています。 robots.txtの内容はマスターツールで確認してもエラーもなく正常に表示されています。 あとは制限などをしている可能性があるのはhtaccessくらいですが、robots.txtの巡回を妨げるようなものはあるのでしょうか？ 何か理由がお分かりの方がいましたらアドバイスをお願いします。
- 締切済み
- ネットワーク
- robots.txtにおいて全てを許可する記述ですが以下の二つの違いは
robots.txtにおいて全てを許可する記述ですが以下の二つの違いはあるのでしょうか？ User-agent: * Disallow: User-agent: * Allow: / よく上が紹介されていますがgoogleウェブマスターツールで生成すると以下の記述になります どちらでもまったく同じ効果であると考えていいのでしょうか？
- ベストアンサー
- HTML
- robots.txtやＣＧＩを設置したいのですが
二次創作サイトのみ可で、無料のサイトスペース（審査制）をお借りしている者なのですが、１つ相談があります。 そのサーバーからアカウント発行のメールを頂いたときに、 「html/index.html として置かれたファイルが、インデックスページとなります」 「ウェブサイトを公開する場合は、html/以下に置いて下さい」 とありました。 ＦＴＰを繋いで見ると、確かに最初から「html」というディレクトリがありましたし、ここの中にindex.htmlを置くと、http://*******.jp/発行したアカウント となりました。 今のところアクセス解析のＣＧＩと、robots.txtを設置しようと思っています。 それで、今まではインフォシークの無料サーバーを使っていたものですから、「cgi-bin」というディレクトリを作り、その中にＣＧＩを入れなければいけませんでしたが、特に何も書かれていない場合、ディレクトリの指定があるかどうかも分かりません。 また、robots.txtは ttp://sp999.oheya.jp/tips/tips/03_robots.htm このサイトによると、 自分のサイトのトップディレクトリにrobots.txtをアップロードする。 とありますが、これは「html/」の中にアップロードしなければいけないのか、その外にアップロードしなければいけないのか分かりません。 なので上記２つを、サーバーの管理人さんにメールで問い合わせてみようと思っているのですが、大丈夫でしょうか。 審査制のところなので、「ある程度のＣＧＩ知識が必要」といわれていましたが、私は日記ＣＧＩのnicky!くらいしか設置したことありませんし（それでも審査は通ったのですが）、 これくらいでメールするなよ、と管理人さんに叱咤されそうな感じもします。 よろしければ、アドバイスお願いします。
- ベストアンサー
- レンタルサーバ・ASP
- robots.txtはどこに置くのですか？
自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)
- ベストアンサー
- ブログ
- httpsへ以降後のrobots.txt 変更は？
私は最近、趣味のホームページをHTTPからHTTPSへと致しました。 さくらインターネットを使用しており、無料認証証明書でｈｔｔｐｓ化が自動で出来ると言うことでｈｔｔｐｓ化する事が出来、３０１リダイレクトも設置し正常に機能しています。 それで、今現在ｈｔｔｐとｈｔｔｐｓの両方が存在している状況です。 以前からサイトマップを検索エンジンに知らせるために、robots.txt を下記のように設置してgoogleウエブマスターツールにて認識させていましたが、ｈｔｔｐｓに移行させた状況で、下記の内容をそのままにしておいて良い物か、ｈｔｔｐｓ用に書き換えなければいけないのか？削除してしまえば良いのかアドバイス頂ければ幸いです。 今の設置の内容 ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL このように変更しなければいけないでしょうか？ ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それとも、今現在移行したばかりで、検索エンジンにｈｔｔｐｓが反映されていないので、httpとhttpsがある中で、下記のように書き換えたほうが良いですか？ ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それと、検索エンジンにｈｔｔｐｓが反映された場合、ｈｔｔｐのサイトマップやｈｔｔｐ自体をウエブマスターツールから削除しなければいけないでしょうか？
- ベストアンサー
- XML
- 「robots.txt による URL 制限」
所有するＨＰ（Googleでドメインを取得し、Google Appsで管理しています)について、Googleのウェブマスターツールを使用し、クローラのアクセスをしたところ、「サイトをクロールした際に検出されたクロールエラー」として、「robots.txt により URL が制限されています」、という結果が４件現われました。 素人なので、その意味するところもよく理解できていないのですが、ここ数日、ＨＰへの訪問者数が大きく減少していることと関連している気がします。 なお、robots.txt により URL が制限されています、という４件のＵＲＬは、いずれも所有するＨＰのメインのサイトそのものです。 本件はどのように判断すべきなのでしょうか。 Google社に質問を出そうにも、同社は利用者からダイレクトに質問を受けることをしておらず、連絡の取りようがありません。 なお、所有するＨＰへの最大Traffic Sourceは、米国人サイト利用者一般への閲覧情報提供・閲覧マネジメントサービスを提供する米国会社ですが（URLを調べた結果です）、このURLをGoogleの解析機能でチェックしたところ、「このWebサイトは、有害なプログラムを転送するか、オンライン詐欺に関係していることが確認されています。この画面を閉じてください。」という表示が出てきます。 私のＨＰが、クローラアクセスのクロールエラーで「robots.txt により URL が制限されています」とされているのも、このことと無関係ではないような気がします（私のＨＰが有害なサイトとして扱われているのではないかと。なおＨＰは全て英語のサイトです）。 上記の現象をどう解釈したらいいのか、robots.txt によるURL制限を外すにはどうしたらいいのか、またGoogle社に個別質問を出す方法などについて、どなたかお教えいただけませんでしょうか。 ある特定の日を境にＨＰ閲覧者数の極端な減少が発生しており、非常に困っていますので、どうかよろしくお願いいたします。
- 締切済み
- インターネットビジネス
お礼
メタタグしかないのですね・・・>_< ありがとうございました。