• ベストアンサー

Webアクセスログの抽出

Webアクセスログの解析をしており、一定期間にあるファイルにアクセスしたユーザ数を調べたいのですが、同一ファイルでのIPアドレスが重複しているものを一つにしたいと思います。 EXELでとりこめないくらいの行数があるので、grepなどで 処理すればよいと思いますが、その方法がわかりません。 どなたかご教示をおねがいできますでしょうか。

質問者が選んだベストアンサー

  • ベストアンサー
  • notnot
  • ベストアンサー率47% (4846/10257)
回答No.1

cut -f1 -d" " access_log | sort | uniq -c (空白区切りで第一フィールドを切り出し)|(ソートして)|(重複数を数える) とか awk '{print $1}' access_log | sort -u (空白タブ区切りで第一フィールドを切り出し)|(ソートして重複行を削除する) とか。

ultrawave
質問者

お礼

これはつかえそうです！ありがとうございました。 エクセル重くって参ってました。

  1. カテゴリ
  2. [技術者向] コンピューター
  3. ITシステム運用・管理
  4. その他（ITシステム運用・管理）

関連するQ&A

  • 携帯からのアクセスログ

    ブログを毎日利用して、更新しています。 そこでカウンターを設置して訪問者数を参照したり、自分のブログへのアクセスを確認しています。 そのアクセスログですが、PC以外の携帯のウェブなどからのアクセス（訪問者数やアドレス？など）というのは解析できないものなのでしょうか？ もしもできるのであれば、それはIPアドレスのような表示がされるのでしょうか？？

  • PCにインストールしてWEBアクセスログを解析

    ApacheサーバーのWEBログをサーバーから抜き取って、自分のPCでそのログを解析できる、そんなソフトはご存じないでしょうか？できればフリーが良いですが、シェアウェアでも構いません。 タグの貼り付けやサーバーにアクセス解析ソフトを入れることができない環境なので、ご教示いただければ幸いです。

  • ウェブページへの定期的アクセス

    カテゴリー違いかも知れませんが、どこか判らなくて。 私のウェブページを見るような暇人がいるかと思って、サーバーにログインしてログを眺めたところ、ある IP address から特定のページに頻繁にアクセスがあることがわかりました。 $ grep "その IP address" access_log としたところ、そのページだけにほぼ定期的 (１日にほぼ２回) get があり、他には一切アクセスしていません。時刻はバラバラです。 nslookup で調べると、しっかりしたソフトウェア関係の企業のようです。特定のページしか見ないし間隔も短いので robot ではないと思います。 別に損害はないと思うのですが、どうしてこうなるのか、先方の状況が推測できるでしょうか。

  • アクセスログ解析ソフト（PC用）の件でご質問です。

    アクセスログ解析ソフトの件でご質問です。 現在、futomiの高機能アクセス解析CGI Standard版 Ver 3.5 を使い、日々アクセスログの統計を見ておりますが 月単位でログを蓄積させていますが、 月末になると1ＭＢ以上にログは増えるため ソフトも問題ではないのですが、処理がしきれなくなり、 その月の統計が見れなくなってしまいます。 このような状況でから。数ヶ月にわたるログ解析は ウェブ上でなく、ＰＣ上のソフトで 解析したいと思います。 希望としましては 【1】月別に分かれているのログをまとめて集計ができて、 【2】キーワードの文字化けがなく（できるだけ） 【3】ユーザトラッキング機能がついていればいいなと思います。 以前にウェブ●●●●というソフトを11万円以上 で購入したことがありましたが、 キーワードの文字化けが解消できず、また ユーザ追跡機能がついていなかったため、社内では不評でした。 お忙しい中申し訳ございません。 どなたか教えてくださいますようお願いいたします、

  • アクセス解析のアクセスログについて

    アクセス解析のアクセスログについて こんにちは。 アクセス解析のアクセスログについて質問です。 つい最近、運営を始めたサイト（独自ドメイン、専用サーバ）に アクセス解析を設置しました。 ※ サイトの内容は日本向けでアダルトではありません。 まだほとんど宣伝していないサイトですが 現在１日に１０００ぐらいのペースでアクセスがあります。 アクセス解析の内容を見ると、 ほとんどのログが HOSTは外国（*.com、*.net、*.ca、*.edu 等）のもので、ほとんど重複がなく UserAgentは９８％以上が「Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)」、 また参照元の内容は、ほとんど取得できていません。 ちなみに自分や知人のアクセスを見ている限り アクセス解析のシステムがおかしいわけではないようです。 現在の状況では本当のアクセス結果？が得られていないみたいで困っています。 どうしてこういうことが起こっているのでしょうか？ 考えられることを教えてください。 よろしくお願いします。

  • ５秒に１回以上アクセスしてくる接続元ＩＰをアクセスログから抽出したい

    １分おきにアクセスログを調査し、"/cgi/test.cgi"　というファイルに 過去１分間 に１２回以上（５秒に１回以上）アクセスしている接続元ＩＰがあるかを 検査したいと思っています。 調査するアクセスログファイルは以下のような位置にドメイン名ごとに在ります。 /home/account/ドメイン名１/access_log /home/account/ドメイン名２/access_log /home/account/ドメイン名３/access_log そしてアクセスログのフォーマットは以下のように、 接続元ＩＰ、アクセス日時、アクセス先ファイル、User-agent　の順です。 66.77.88.99 - - [01/Mar/2010:21:56:39 +0900] "GET /cgi/test.cgi?order=&class=1&　HTTP/1.1" 200 3191 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)" ------------------------------- 例えば単純に #tail -n 100 /home/account/*/access_log |grep "/cgi/test.cgi" で、過去ログ１００行分の中で　/cgi/test.cgi にアクセスしている 接続元ＩＰの一覧は分かりますが、 「過去１分間に１２回以上出現しているＩＰ」を抽出するには、 うまい方法が分かりません。 shはcronで１分おきに実行させる予定です。 よい方法がありましたら、ぜひご提示頂きましたら嬉しいです。どうぞ宜しく御願いいたします。

  • NAT(DNAT)運用の際のアクセスログ

    グローバルIPアドレスを1個持つルータから、wwwポートだけを内部のwebサーバに(NAT等の方法で)転送してwebサーバを公開したとします。 この際、内部のwebサーバのアクセスログに記録されるIPアドレスは、アクセスした人のIPアドレスになるでしょうか?それともルータのローカルIPアドレスになるでしょうか? 実装や設定によって変わる可能性がある場合は、どの実装や設定によって変わる可能性があるでしょうか? また、ローカルIPアドレスが記録される場合は、ルータのアクセスログとwebサーバのアクセスログをある程度つきあわせる必要があると思いますが、どのようにして実運用の場ではつきあわせているのでしょうか?

  • unnumbered接続でのアクセスログについて

    Bフレッツマンションタイプ-VDSL-Web Caster720の構成でフレッツグループアクセスプロを行なっています。 アクセスログを確認したところ、見知らぬIPアドレスのログが残っています。 自身のunnumberedでのIPアドレスを192.168.10.1/24とすると、192.168.20.3など異なるセグメントのログがあります。 これはVPN対抗のアドレスなのでしょうか？ どなたかご教授のほどお願い致します。

  • アクセスログの取得

    自分のＨＰのアクセス解析についてです。 「忍者」や「CGIBOY」といった、解析専門のサイトに 登録してやってもらう方法の他に、自分でアクセスログ を取得して、解析するソフトにそのログをドロップして 見るというやり方もあることがわかったんですが、 アクセスログを取得するのは難しいのでしょうか。 プロバイダはニフティで、CGIに関してはサポート外 ということで教えてもらえませんでした。 　 ホームページビルダーのFTPでアクセスログなるファイル を探してみたのですが、見つかりませんでした。 ファイルを作るプログラムを仕込まないといけない のでしょうか。 ログ取得の方法、または参考になるサイトなど 教えてください。よろしくお願いします。

  • アクセス解析とアクセス経路について

    こんにちは。 過去ログ見てみたのですがちょっとわからないことがあって・・・ アクセス解析にはＩＰアドレスやアクセス経路などがわかるものがある ということですが、 例えば私がブログを書いていたとしたら、アクセス解析などから 相手が私のブログを知る、ということはできるのでしょうか？

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する