• 締切済み

robots.txt HTTP/1.1 404 208 について

2年ほど自宅サーバーでHPを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208   ・   ・ ※ 行数は1アクセスに対して4~8行程度。(日によって変わる) ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ(OCN)のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかとも考えています。 ちなみに、セキュリティソフトはシマンテックのインターネットセキュリティを使っており、ウイルスやスパイウェアの検出は確認されていません。 判る方がおられましたら、ぜひ宜しくご指導ください。 その他の環境 OS:WindowsXP SP2 通信:NTTフレッツADSL+ルーターモデムWebCaster620 マシン:SONY VAIO デスクトップ機(CPU:800MHz AMD Duron)

noname#121524
noname#121524

みんなの回答

  • okg00
  • ベストアンサー率39% (1322/3338)
回答No.1

リモートホストは? googleなどの検索エンジンがクロールするまえに作法としてrobots.txtを検索しているだけかと。 http.confのログフォーマットをご覧ください。 ブラウザによってはfavicon.icoなんかもアクセスされる事がありますね。

noname#121524
質問者

お礼

アドバイスありがとうございます。 リモートホストは、OCNです。 これは、リモートホストであるOCNのブログサービスを使っている事で、そのブログに表示させるタイトル画像のリンク元(私のPCからの直リンクです)に対して robots.txt を検索している‥という事なのでしょうか? 今回のログが記録される時は、確かに必ずと言って良いほど、ブログを閲覧した時です。 画像の直リンクをやめると記録もされなくなるのでしょうか? 一度試してみたいと思います。

noname#121524
質問者

補足

補足から済みません。お礼の内容の追伸です。 利用しているブラウザは、FireFoxです。 実は今回の robots.txt のログの記録は、IE(IE7)を使ってブログを閲覧した際には記録されません。何度も試したので傾向としては確実です。 また、HP公開においては、favicon.icoも置いています。 FireFoxで閲覧している事と、サーバーに favicon.ico を置いている事が影響しているのでしょうか?

関連するQ&A

  • robots.txt HTTP/1.1" 404 208 について

    よろしくお願いします。 2年ほど自宅サーバーでHPを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208   ・   ・ ※ 行数は1アクセスに対して4~8行程度。(日によって変わる) ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ(OCN)のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかと考えています。 判る方がおられましたら宜しくご指導ください。 その他の環境 OS:WindowsXP SP2 通信:NTTフレッツADSL+ルーターモデムWebCaster620 マシン:SONY VAIO デスクトップ機(CPU:800MHz AMD Duron)

  • robots.txtはどこに置くのですか?

    自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)

  • 簡単なHTTP-Get

    こんにちわ。 初めて質問します。 サイトの簡易試験を行いたくJAVAを使ってHTTPのGetリクエストを送信したいと考えています。 要件は以下の通りです。 1、HTTPはGetリクエストを使用する 2、URLはコードに記載ではなく特定のファイル(URL.txt)を1行づつ読み込む 3、User-Agentを都度変更できるようにする ということを行いたいのですが、皆様にとっては簡単なことかもしれませんが、 なかなか上手くいきません。 手助けをお願いいたします。

  • httpsへ以降後のrobots.txt 変更は?

    私は最近、趣味のホームページをHTTPからHTTPSへと致しました。 さくらインターネットを使用しており、無料認証証明書でhttps化が自動で出来ると言うことでhttps化する事が出来、301リダイレクトも設置し正常に機能しています。 それで、今現在httpとhttpsの両方が存在している状況です。 以前からサイトマップを検索エンジンに知らせるために、robots.txt を下記のように設置してgoogleウエブマスターツールにて認識させていましたが、httpsに移行させた状況で、下記の内容をそのままにしておいて良い物か、https用に書き換えなければいけないのか?削除してしまえば良いのかアドバイス頂ければ幸いです。 今の設置の内容 ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL このように変更しなければいけないでしょうか? ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それとも、今現在移行したばかりで、検索エンジンにhttpsが反映されていないので、httpとhttpsがある中で、下記のように書き換えたほうが良いですか? ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それと、検索エンジンにhttpsが反映された場合、httpのサイトマップやhttp自体をウエブマスターツールから削除しなければいけないでしょうか?

    • ベストアンサー
    • XML
  • HTTP/1.0でリクエストする物(ブラウザ/OS?)について

    アクセスログを解析していて疑問がありました。 ログの中で、 GET / HTTP/1.0 という記述がありますが、"HTTP/1.0"の部分には、HTTP/1.1と書かれているログが大多数です。調べるとリクエストのバージョンということですが、1.0でリクエストするのはどういった場合なのでしょうか? ブラウザ or OSの種類によるのかなと思っていましたが、XPでも1.0をリクエストしているログがあります。非常に疑問です。私が使っているログ解析ソフトはHTTP/1.0は無視する仕様になっているということなので、本件の内容がわからなければ、無視する事もできません。 早急に回答が欲しいのです。どなたかご教授ください。

    • ベストアンサー
    • HTML
  • apache log 解析でユーザ解析

    アパッチのログで 127.0.0.1 - admin [25/Jan/2005:14:06:35 +0900] "GET /manager/status HTTP/1.1" 200 5508 みたいなのがありますが、この "admin" の部分を 解析したいと思っています。 wwwstat analog などでは無理?な感じ。 何かいいソフトないでしょうか?

  • HTTPプロトコルについて(文字化け。)

    No.656466の質問「文字化け。」 で「サーバーの設定とは関係ありません。 」 と自身満々に回答してしまったものです。。。 (質問者の方には申し訳ない) 私はHTTPプロトコルはポート80にgetコマンドを送って 単にhtmlデータを受け取るだけだと勘違いしていたのですが No.656466の回答にapacheのconfファイルのAddDefaultCharsetを変更することで 文字コードの判定を行えるような事を書いてあったのですが apacheはAddDefaultCharsetをconfファイルで指定してやることで どういった動作をしてブラウザとやりとりしているのでしょうか? 宜しくお願いします。

  • apacheのログ

    Apacheのログの見方を教えてください。 生ログは以下のようになってます。 fw.gmo-ht.com - - [16/Feb/2004:10:05:07 +0900] "GET /freecgi2/Count.cgi?md=8&dd=cdd&ft=5&df=SampleData HTTP/1.1" 200 445 "http://ultra1.isle.jp/hara/haraPW.html" "Mozilla/5.0 (Windows; U; Windows NT 5.0; ja-JP; rv:1.4) Gecko/20030624 Netscape/7.1 (ax)" "-" バージョンはApache 1.3.28なのですが、これがどういう項目で並んでいるのかがわかりません。(なんとなく検討はつくのですが。) どなたか、apacheログについて詳しく記載されているHPなどありましたら教えてください。 よろしくお願いいたします。

  • Apacheのログに0.0.0.0と記録される

    Windows2000 + Apache2.2で運用しております。 Apacheのアクセスログで、combinedで出力させていますが、アクセス元のIPアドレスがすべて「0.0.0.0」と記録されてしまいます。 0.0.0.0 - - [04/Mar/2007:00:16:39 +0900] "GET / HTTP/1.1" 200 164 0.0.0.0 - - [04/Mar/2007:00:16:40 +0900] "GET /favicon.ico HTTP/1.1" 403 1113 このような感じです。外部からも内部からもこのように記録されます。 Linuxで構築していた頃はこのようなことはなかったのですが、どなたか対策法などご存じでしたらご教授ください。

  • Apacheが出すログでホスト名を取得したい

    Apacheの出すログでホスト名を取得したいのです。 61.207.000.00 - - [20/Jun/2004:16:07:56 +0900] "GET /web HTTP/1.1" 401 476 アクセスしたらこのようなアクセスログになりますが、このipの部分にホスト名を記録させたいのです。 バージョンは Apache/1.3.27 Linuxで運用しています。 httpd.conf のどの部分を触ればいいのか、 ご存知の方、よろしくお願いします。

専門家に質問してみよう