- ベストアンサー
robots.txt
EIZAの回答
robots.txtとは、もともと検索エンジン対策なわけですから。 サイトの中でリンクをはったりURLを公開していないのであれば、 そう考えるのが妥当ではないでしょうか。 あと可能性としては……ホームページを作りたい人が、 参考にrobots.txtを覗いているとか？ そんな馬鹿な。
関連するQ&A
- robots.txtについて
あるサイトさんの隠しページというかなんというかところに行きたいのですがコメントにそのページは『検索エンジンに登録されないようrobots.txtを使用しています。』と書かれていたんですが、どのようにしたら行くことができるのでしょうか？ そもそもrobots.txtというものはなんでしょうか? よろしくお願いします。
- ベストアンサー
- ブログ
- robots.txtについて
サイトを検索されないようにする時にrobots.txtを使うのはわかったのですが、逆に自分のページを検索にひっかかるようにする時にはrobots.txtを置いて、 User-agent: * Allow: / と書けばいいのでしょうか？ それともrobots.txt自体いらないのでしょうか？
- ベストアンサー
- HTML
- robots.txtについてお尋ねします。
googleの検索へＨＰを登録させたいのですが、robots.txt解析結果というのが表示さらrobots.txt無効 と出ました。 これは、どういう事なのでしょうか あまりこう言ったものには詳しくないので困っています。 http://www.google.com/support/webmasters/bin/answer.py?answer=35220&hl=ja 上記ＵＲＬのヘルプ検索から「robots.txt無効」をキワード入力したのですが、難しくて意味がよくわかりません。 何方かご存知の方が居ましたら教えて頂きたいのですが 宜しくお願いします。
- ベストアンサー
- その他([技術者向] コンピューター)
- deny from allで、robots.txt
.htaccessで、 <Files ~ ".(csv|txt)$"> deny from all </Files> と書いたら、ブラウザから、robots.txtが確認できなくなりました。 ブラウザで確認できないのはいいのですが、 この意味は、検索エンジンも、robots.txtを読み込めない、ということでしょうか？ それとも、単にブラウザから、.txtが確認できないだけで、 検索エンジンは、robots.txtを読み込むことは出来るのでしょうか？
- ベストアンサー
- Linux系OS
- robots.txt
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。 当サイトのグーグルのウェブマスター ツール で確認してみたところ、 「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。 「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。 以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？ こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？ 今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？ どう対処していったらいいのしょうか？ robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？ どうごご助言よろしくお願い致します。
- ベストアンサー
- HTML
- robots.txtを再作成したいのですが…
こんばんは。 tubmlrをやっているのですが、 以前、検索エンジンに自分のページが出なくなっていたのでウェブマスターツールで調べてみたら、 robots.txtが消えていたんです。 どうしたら再作成できますか？
- 締切済み
- その他（プログラミング・開発）
- robots.txtはどこに置くのですか？
自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)
- ベストアンサー
- ブログ
- robots.txtの確認
わたしのブログがインデックスされていないようです。 確認してみますと Disallow: /wp-adimin/ となっています。 robots.txtの確認のしかたについて調べたところ、クローラーに巡回させるには Disallow: と「/」を消すとありました。 わたしのサイトのrobots.txtでは、wp-adminの前と後に「/」があるのですが 前の「/」だけを消せばいいのでしょうか？
- 締切済み
- SEO
- robots.txt によりアクセスが制限されています
ウェブマスターツールの robots.txt によりアクセスが制限されていますのところに１１個入ってしまって殆ど検索に皮下からなくなってしまいました。。 これを解除する方法とかはあるでしょうか？ ちなみにアダルト系のブログです。
- ベストアンサー
- ネットトラブル
- robots.txtやＣＧＩを設置したいのですが
二次創作サイトのみ可で、無料のサイトスペース（審査制）をお借りしている者なのですが、１つ相談があります。 そのサーバーからアカウント発行のメールを頂いたときに、 「html/index.html として置かれたファイルが、インデックスページとなります」 「ウェブサイトを公開する場合は、html/以下に置いて下さい」 とありました。 ＦＴＰを繋いで見ると、確かに最初から「html」というディレクトリがありましたし、ここの中にindex.htmlを置くと、http://*******.jp/発行したアカウント となりました。 今のところアクセス解析のＣＧＩと、robots.txtを設置しようと思っています。 それで、今まではインフォシークの無料サーバーを使っていたものですから、「cgi-bin」というディレクトリを作り、その中にＣＧＩを入れなければいけませんでしたが、特に何も書かれていない場合、ディレクトリの指定があるかどうかも分かりません。 また、robots.txtは ttp://sp999.oheya.jp/tips/tips/03_robots.htm このサイトによると、 自分のサイトのトップディレクトリにrobots.txtをアップロードする。 とありますが、これは「html/」の中にアップロードしなければいけないのか、その外にアップロードしなければいけないのか分かりません。 なので上記２つを、サーバーの管理人さんにメールで問い合わせてみようと思っているのですが、大丈夫でしょうか。 審査制のところなので、「ある程度のＣＧＩ知識が必要」といわれていましたが、私は日記ＣＧＩのnicky!くらいしか設置したことありませんし（それでも審査は通ったのですが）、 これくらいでメールするなよ、と管理人さんに叱咤されそうな感じもします。 よろしければ、アドバイスお願いします。
- ベストアンサー
- レンタルサーバ・ASP
お礼
そうですよね。念のため他の人の意見を聞かないとと思って質問させていただきました。 ＃しかし、実に頻繁にアクセスしているものだ・・と感心しました。