• 締切済み

robots.txt HTTP/1.1" 404 208 について

よろしくお願いします。 2年ほど自宅サーバーでHPを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208   ・   ・ ※ 行数は1アクセスに対して4~8行程度。(日によって変わる) ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ(OCN)のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかと考えています。 判る方がおられましたら宜しくご指導ください。 その他の環境 OS:WindowsXP SP2 通信:NTTフレッツADSL+ルーターモデムWebCaster620 マシン:SONY VAIO デスクトップ機(CPU:800MHz AMD Duron)

noname#121524
noname#121524

みんなの回答

  • violet430
  • ベストアンサー率36% (27472/75001)
回答No.1

XPのカテゴリですけど、OSの問題ではないですね。 セキュリティ対策 あたりで聞いた方が専門家のアドバイスが増えそうに思います。

noname#121524
質問者

お礼

ありがとうございます。 一度そちらへ移動してアドバイスを受けてみます。 ありがとうございました。

関連するQ&A

  • robots.txt HTTP/1.1 404 208 について

    2年ほど自宅サーバーでHPを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208   ・   ・ ※ 行数は1アクセスに対して4~8行程度。(日によって変わる) ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ(OCN)のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかとも考えています。 ちなみに、セキュリティソフトはシマンテックのインターネットセキュリティを使っており、ウイルスやスパイウェアの検出は確認されていません。 判る方がおられましたら、ぜひ宜しくご指導ください。 その他の環境 OS:WindowsXP SP2 通信:NTTフレッツADSL+ルーターモデムWebCaster620 マシン:SONY VAIO デスクトップ機(CPU:800MHz AMD Duron)

  • robots.txtはどこに置くのですか?

    自分のブログが検索でなるべくヒットしないように このサイト http://www.free-seo.jp/robots-crawl-yahoo-google-bing/ このサイト http://info.search.yahoo.co.jp/archives/002849.php このサイト http://dokodemo.rankuappu.com/syono5.html を参考にして robots.txtを作成しました。 上のサイトに記載されている http://www.free-seo.jp/image/robotstxt-upload.gif 「作成した robots.txtを最上位階層にアップロードする」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000002.jpg 「ファイルは、サイトのルートディレクトリに設置してください。」 http://blog-imgs-45.fc2.com/x/x/x/xxxteeeeeeeenxxx/WS000001.jpg 「置き場所」 の意味がよく分かりません。置き方が分かりません。 どこにアップロードするのか分かりません。 取り敢えず サイトの最上位階層(ルートディレクトリ)に robots.txtをドロップして(置いて)みたのですが ブラウザ上で User-agent: * Disallow: / と再生されるだけです。 よくわからないので htmlの<head>と<head/>の間に <head> User-agent: * Disallow: / <head/> と埋め込み http://tamesi.jmin.net/(質問用ホームページ)のようにしてみました。 これでいいのでしょうか。なんだか違うような気がします。 おバカな中学生にわかりやすく説明して欲しいです。 サイトのルートディレクトリに設置してください。 お前ブログなんて誰も検索しないよ。 のようなもともこない回答はしないで欲しいな(´・ω・`)

  • 簡単なHTTP-Get

    こんにちわ。 初めて質問します。 サイトの簡易試験を行いたくJAVAを使ってHTTPのGetリクエストを送信したいと考えています。 要件は以下の通りです。 1、HTTPはGetリクエストを使用する 2、URLはコードに記載ではなく特定のファイル(URL.txt)を1行づつ読み込む 3、User-Agentを都度変更できるようにする ということを行いたいのですが、皆様にとっては簡単なことかもしれませんが、 なかなか上手くいきません。 手助けをお願いいたします。

  • httpsへ以降後のrobots.txt 変更は?

    私は最近、趣味のホームページをHTTPからHTTPSへと致しました。 さくらインターネットを使用しており、無料認証証明書でhttps化が自動で出来ると言うことでhttps化する事が出来、301リダイレクトも設置し正常に機能しています。 それで、今現在httpとhttpsの両方が存在している状況です。 以前からサイトマップを検索エンジンに知らせるために、robots.txt を下記のように設置してgoogleウエブマスターツールにて認識させていましたが、httpsに移行させた状況で、下記の内容をそのままにしておいて良い物か、https用に書き換えなければいけないのか?削除してしまえば良いのかアドバイス頂ければ幸いです。 今の設置の内容 ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL このように変更しなければいけないでしょうか? ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それとも、今現在移行したばかりで、検索エンジンにhttpsが反映されていないので、httpとhttpsがある中で、下記のように書き換えたほうが良いですか? ↓ ・・・・・・・ User-agent: * Disallow: Sitemap: http://http://◎◎◎◎.com/Sitemap.xml Sitemap: https://https://◎◎◎◎.com/Sitemap.xml ・・・・・・・ ◎◎◎◎は任意のURL それと、検索エンジンにhttpsが反映された場合、httpのサイトマップやhttp自体をウエブマスターツールから削除しなければいけないでしょうか?

    • ベストアンサー
    • XML
  • Apacheのログに0.0.0.0と記録される

    Windows2000 + Apache2.2で運用しております。 Apacheのアクセスログで、combinedで出力させていますが、アクセス元のIPアドレスがすべて「0.0.0.0」と記録されてしまいます。 0.0.0.0 - - [04/Mar/2007:00:16:39 +0900] "GET / HTTP/1.1" 200 164 0.0.0.0 - - [04/Mar/2007:00:16:40 +0900] "GET /favicon.ico HTTP/1.1" 403 1113 このような感じです。外部からも内部からもこのように記録されます。 Linuxで構築していた頃はこのようなことはなかったのですが、どなたか対策法などご存じでしたらご教授ください。

  • HTTP/1.0でリクエストする物(ブラウザ/OS?)について

    アクセスログを解析していて疑問がありました。 ログの中で、 GET / HTTP/1.0 という記述がありますが、"HTTP/1.0"の部分には、HTTP/1.1と書かれているログが大多数です。調べるとリクエストのバージョンということですが、1.0でリクエストするのはどういった場合なのでしょうか? ブラウザ or OSの種類によるのかなと思っていましたが、XPでも1.0をリクエストしているログがあります。非常に疑問です。私が使っているログ解析ソフトはHTTP/1.0は無視する仕様になっているということなので、本件の内容がわからなければ、無視する事もできません。 早急に回答が欲しいのです。どなたかご教授ください。

    • ベストアンサー
    • HTML
  • Apacheが出すログでホスト名を取得したい

    Apacheの出すログでホスト名を取得したいのです。 61.207.000.00 - - [20/Jun/2004:16:07:56 +0900] "GET /web HTTP/1.1" 401 476 アクセスしたらこのようなアクセスログになりますが、このipの部分にホスト名を記録させたいのです。 バージョンは Apache/1.3.27 Linuxで運用しています。 httpd.conf のどの部分を触ればいいのか、 ご存知の方、よろしくお願いします。

  • HTTPプロトコルについて(文字化け。)

    No.656466の質問「文字化け。」 で「サーバーの設定とは関係ありません。 」 と自身満々に回答してしまったものです。。。 (質問者の方には申し訳ない) 私はHTTPプロトコルはポート80にgetコマンドを送って 単にhtmlデータを受け取るだけだと勘違いしていたのですが No.656466の回答にapacheのconfファイルのAddDefaultCharsetを変更することで 文字コードの判定を行えるような事を書いてあったのですが apacheはAddDefaultCharsetをconfファイルで指定してやることで どういった動作をしてブラウザとやりとりしているのでしょうか? 宜しくお願いします。

  • ソフト同封の「Readme.txt」のテンプレート

    インターネット上で、公開されているソフトは、ほぼ100%「Readme.txt」が同封されています。 何かのルートで、そのファイルの推奨テンプレートがあるという情報を手に入れた事があります。 どこかの団体が推奨している、という事は憶えてます。 ご存知の方、いらっしゃいましたらよろしくお願いします。

  • 不正なアクセスらしいんですが意味が分かりません

    サーバーのアクセスログに以下のようなものがあります。 220.166.32.133 - - [31/Jan/2005:22:33:57 +0900] "GET http://www.microsoft.com/ HTTP/1.1" 200 30613 "-" "Mozilla/4.0 (compatible; MSIE 4.01; Windows 95)" "-" 221.200.62.75 - - [04/Mar/2005:08:08:29 +0900] "CONNECT 64.12.137.249:25 HTTP/1.1" 200 315 "-" "-" "-" 221.200.62.75 - - [04/Mar/2005:08:08:54 +0900] "GET http://www.ebay.com/ HTTP/1.1" 200 32606 "-" "Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)" "-" どちらも中国のホストからのアクセスで、最近増えている不正アクセスだと思います。 ここで疑問なのは、microsoft.comやebay.comと表示されている部分です。(これはこちらのサーバーに対するリクエストを示していると思うんですが) 他の通常のアクセスでは、 provider.ne.jp - - [日時] "GET /filename.gif HTTP/1.1" 200 471 "http:// mydomain/dirname/filename.html" "useragentname" "-"となっています。 存在しないmicrosoft.comやebay.comを要求されたら、エラーログにFile does not existなどと記録されるのではないのでしょうか?(該当日時にエラーは記録されていません) そもそもこれは不正アクセスでしょうか? 要領を得ない質問ですが、どなたか教えて下さい。