- 締切済み
robots.txtを再作成したいのですが…
こんばんは。 tubmlrをやっているのですが、 以前、検索エンジンに自分のページが出なくなっていたのでウェブマスターツールで調べてみたら、 robots.txtが消えていたんです。 どうしたら再作成できますか？
- gi-tyan
- お礼率13% (3/22)
- その他（プログラミング・開発）
- 回答数1
- ありがとう数0
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- memphis
- ベストアンサー率40% (975/2395)
メモ帳などのテキストエディタで作ってサーバにアップすればいいですよ。
関連するQ&A
- robots.txt
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。 当サイトのグーグルのウェブマスター ツール で確認してみたところ、 「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。 「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。 以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？ こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？ 今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？ どう対処していったらいいのしょうか？ robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？ どうごご助言よろしくお願い致します。
- ベストアンサー
- HTML
- robots.txtについて
あるサイトさんの隠しページというかなんというかところに行きたいのですがコメントにそのページは『検索エンジンに登録されないようrobots.txtを使用しています。』と書かれていたんですが、どのようにしたら行くことができるのでしょうか？ そもそもrobots.txtというものはなんでしょうか? よろしくお願いします。
- ベストアンサー
- ブログ
- robots.txtの置き場所について
ウェブマスターツールを使い始めた初心者です。 私のウェブサイトはプロバイダがサービスでくれたもので、URLが www.プロバイダのサーバ.ne.jp/~ユーザーのID となっています。 robots.txtを置きたいのですが、 ウェブマスターツールで私がrobots.txtを置くURLは、 http://www.プロバイダのサーバ.ne.jp/robots.txt となっています。。 私のユーザーのIDのついてないURLにはアップロードできないと思うのですが・・・ どうしたらいいのでしょうか？ FFFTPでpublic_htmlの下にアップロードしたところ、やっぱり認識されずずっと404(見つかりませんでした)と言われてます。。。
- ベストアンサー
- その他（ITシステム運用・管理）
- robots.txtについて
サイトを検索されないようにする時にrobots.txtを使うのはわかったのですが、逆に自分のページを検索にひっかかるようにする時にはrobots.txtを置いて、 User-agent: * Allow: / と書けばいいのでしょうか？ それともrobots.txt自体いらないのでしょうか？
- ベストアンサー
- HTML
- robots.txt によりアクセスが制限されています
ウェブマスターツールの robots.txt によりアクセスが制限されていますのところに１１個入ってしまって殆ど検索に皮下からなくなってしまいました。。 これを解除する方法とかはあるでしょうか？ ちなみにアダルト系のブログです。
- ベストアンサー
- ネットトラブル
- robots.txt
初歩的なアクセス解析を試みているのですが、robots.txtへのアクセスがよくあります。これは検索エンジンがサイトを回ってアクセスしていると考えればよいのでしょうか？
- ベストアンサー
- その他（インターネット接続・通信）
- クローラーがrobots.txtを巡回しない
クローラーがrobots.txtを巡回しないため、毎回手動で再送信をしています。 robots.txtの内容はマスターツールで確認してもエラーもなく正常に表示されています。 あとは制限などをしている可能性があるのはhtaccessくらいですが、robots.txtの巡回を妨げるようなものはあるのでしょうか？ 何か理由がお分かりの方がいましたらアドバイスをお願いします。
- 締切済み
- ネットワーク
- deny from allで、robots.txt
.htaccessで、 <Files ~ ".(csv|txt)$"> deny from all </Files> と書いたら、ブラウザから、robots.txtが確認できなくなりました。 ブラウザで確認できないのはいいのですが、 この意味は、検索エンジンも、robots.txtを読み込めない、ということでしょうか？ それとも、単にブラウザから、.txtが確認できないだけで、 検索エンジンは、robots.txtを読み込むことは出来るのでしょうか？
- ベストアンサー
- Linux系OS
- robots.txtについてお尋ねします。
googleの検索へＨＰを登録させたいのですが、robots.txt解析結果というのが表示さらrobots.txt無効 と出ました。 これは、どういう事なのでしょうか あまりこう言ったものには詳しくないので困っています。 http://www.google.com/support/webmasters/bin/answer.py?answer=35220&hl=ja 上記ＵＲＬのヘルプ検索から「robots.txt無効」をキワード入力したのですが、難しくて意味がよくわかりません。 何方かご存知の方が居ましたら教えて頂きたいのですが 宜しくお願いします。
- ベストアンサー
- その他([技術者向] コンピューター)
- HPをリニュアルしUPして、Googleサイトに登録し、Sitemap
HPをリニュアルしUPして、Googleサイトに登録し、Sitemap.Xmlも作成UPして robots.txtで検索エンジンのクロールを設定しようと思い、ウェブマスターツールから robots.Txtをみると 私のHPアドレスが http://www.eonet.ne.jp/~nmsougouなのに robots.txtのアドレスが http://www.eonet.ne.jp/robots.txtとなっていて 404エラーを返します。http://www.eonet.ne.jp/~nmsougou/robots.txtとならないといけないと思いますが、ウェブマスターツールからの変更および更新の仕方がわかりません。 このままでは、ロボット検索がされないのではないか心配です。 どなたか心やさしい方、この初心者を救ってください。よろしくお願いします。 追伸 Sitemap.Xmlは正常に見ることが出来ます。
- 締切済み
- SEO
