あるサイトさんの隠しページというかなんというかところに行きたいのですがコメントにそのページは『検索エンジンに登録されないようrobots.txtを使用しています。』と書かれていたんですが、どのようにしたら行くことが
なるのは、ツールの「robot.txtを解析」のページで、ステータスが「302 (見つかりました) 」となっていること。これは、robot.txtが作用してインデックス登録を拒否している、という意味なのでしょうか?ちなみに
googleの検索へHPを登録させたいのですが、robots.txt解析結果というのが表示さらrobots.txt無効 と出ました。 これは、どういう事なのでしょうか あまりこう言ったものには詳しくないので困ってい
初歩的なアクセス解析を試みているのですが、robots.txtへのアクセスがよくあります。これは検索エンジンがサイトを回ってアクセスしていると考えればよいのでしょうか?
error_logファイルの「robots.txt」は何を意味していますか。
] File does not exist: /home/****.com/robots.txt これは何を意味していますか、教えて下さい。
ただ今「メモ帳」を使ってHPを作成しているのですが ファイル名を「○○○.html」と入力しても 「○○○.html.txt」と自然に変換されてしまいます。 今まではこんな事なかったのですが・・・ どうすればいいです
google.txtって、何でしょうか? 分かりやすく説明いただければ幸いです。
、 「ウェブ クロール エラー 」のURLにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっており
.htaccessで、 <Files ~ ".(csv|txt)$"> deny from all </Files> と書いたら、ブラウザから、robots.txtが確認できなくなりました。 ブラウザで確認できないの
http://x-web.pobox.ne.jp/fcgi/fcgi_02.html に書いてあったのですがやり方がわかりません。 教えてください。