ログ解析でDBを使うのは適切かどうか

このQ&Aのポイント
  • ログ解析でDBを使うのは適切かどうかについて悩んでいます。月に10種類のログ取得対象があり、1つの画像には約34万回のアクセスがあります。テーブルで管理するとレコード数が急増するため、テキストログで画像ごとにログを追加するほうが良いのか迷っています。
  • ログ解析において、DBを使うかテキストログを使うかで悩んでいます。月に10種類のログ取得対象があり、1つの画像には約34万回のアクセスがあります。テーブルで管理する場合、レコード数が急増する可能性がありますが、テキストログでは画像ごとにログを追加できます。
  • ログ解析でDBを使用するかテキストログを使用するかについて迷っています。月に10種類のログ取得対象があり、1つの画像には約34万回のアクセスがあります。テーブルで管理する場合、レコード数が急増するリスクがありますが、テキストログでは画像ごとにログを追加できます。どちらが適切な方法かご教示いただけないでしょうか。
回答を見る
  • ベストアンサー

ログ解析でDBを使うのは適切かどうか。

アクセスログ保存でSQLサーバを使おうとと思っているのですが、件数が多くDBかテキスト保存か迷っております。 状況 ・毎月10種類くらいログ取得対象が存在する。 ・1つの画像には、大体34万/月のアクセスがある。 ・画像は毎月変わる。 これのログを取得したいのですが、 1つのテーブルで管理しようとすると、月に34万x10=340万レコード増えていく事になります。 また画像ごとにテーブルを作成するとテーブルがどんどん増えていってしまいます。 こういった場合はDBを使うのは適切なのでしょうか? テキストログなどで、1つの画像ごとにログを追加していった方がよいでしょうか? ・1つのテーブルで情報を管理 ・1つの画像ごとにテーブルを作成して管理 ・1つのファイルごとに管理 のどれがよいと思われますでしょうか? これほど大きいレコード数を扱った事がないのですが、どなたかアドバイスいただけたらと思っております。 よろしくお願いいたします。

質問者が選んだベストアンサー

  • ベストアンサー
  • shisui77
  • ベストアンサー率32% (25/76)
回答No.1

そのアクセスログを何に使うか? で決めたらいかがでしょうか。 アクセス数が知りたいだけなら、DBにアクセスカウントだけ格納していけばよいと思います。 画像ごと、日ごと、月ごとなどなど 何かトラブルがあったときの対応だけなら、テキストがよいと思います。 取り出してEXECL等で検索も思いのままです。 大きくなったら簡単に削除できるし。 何に使うか決めてない、とりあえずログ!!なら、 テキストがよいような...

kakekake_07
質問者

お礼

せっかくすぐにレスいただいたのに遅くなりましてすいません。 リアルタイムに情報を取得したいということで、今回はDBの更新型で管理してみることにしました。(これがあっているかはまだわかりませんが) ありがとうございました。

関連するQ&A

  • 他のDBのオブジェクトの利用

    同一スキーマ上の別のDBのテーブルを使ってビューを作成したり ストアドを作成したりする事は可能でしょうか? また、アクセスから接続しているDB以外のDBのテーブルに フォームやVBAからアクセスする事は可能でしょうか? (要は、アクセスのMDBのリンクテーブルの接続先が複数ある様な イメージです) やりたい事はアクセスの請求書発行システムのFORMから 取引先管理システムの取引先テーブルを参照したり、SQLの 請求書発行DBのビューやストアドで取引先管理DBのテーブルを 参照しいたいのです。

  • アクセスログのデータが消える

    現在有料の共有サーバーをレンタルしているのですが CGIを設置してちゃんとアクセスログがとれます。 しかし設定で10000件まで保存するとしても 実際は2000件を越えた時点で今までのデーターを削除しだしてしまいます。しかし設定には上限はありません。 もういいやと思い、ちがうものを選んでみましたが ここも同様、保存できる件数に上限はなく9万件までは 保存するという風に設定しているのに 3000件ぐらいを突破すると最初のころのログが消えながら新しいものがつぎたされます。でも消える時は本当に一瞬で ログ件数が3300であっても、次にクリックするといきなり650とかになってます。プログラム作成者にも対応してもらえず、困り果てております。実際今日徹夜でやっているものの、どうすればよいのかまったく検討もつきません。現在一日1万件ぐらいのアクセスがあるサイトの管理をやっているので、2,3日分をまとめて分析とかしてみたいです。 いまのままでは、まったくやくにたってません。。。。 なぜ私のログデータは消えてしまうのですか? サーバースペースは十分ほどあります。 宜しくお願いします

    • ベストアンサー
    • CGI
  • VB2005でDBのレコード件数の取得方法

    お世話になります。 VB2005でデータベースに接続して 読み込むテーブルのレコード件数を 取得したいのですが。 内容を配列で戻すため、動的配列を 使いたい為です。 レコード件数なしは、調べて HasRows=Falseでよいのは 分かったのですが。 宜しくお願いいたします。

  • MySQLをアクセスログとして使う場合について

    宜しくお願い致します。 MySQLのDBでアクセスログを取りたいと思っております。が、MySQLのDBに一度にアクセスできる人数と記録できるレコード数に限界ってあるんでしょうか?一日に数万アクセスあった場合、無条件に全て記録したら、一日で数万レコードになってしまうし、一度にアクセスが重複する数もかなりの数になると思います。かなり心配になってしまいました。。。

    • ベストアンサー
    • MySQL
  • ジオプラスのDBの作成について

    ジオプラスにてホームページの開設を行おうと思っております。 そこで、PHPでページを作成しDBにてデータを管理したいと思うのですが、テーブルの作成などはどのようにして行うのでしょうか? DQLiteが使用可能との事なので調べてみたんですがよく分かりません。 1.PHPにテーブル作成の処理を書いておく。 2.ジオプラスにメール等で作成を依頼する。 3.あらかじめDBを作成しておく。 初心者なので難しいとは思うんですが、自分で作りたいと思っています。(もちろんネットに落ちているサンプルを参考にしますが・・・) どなたかご存知の方がおられたら教えてください。 よろしくお願いいたします。

    • 締切済み
    • PHP
  • DB2のエラーコードについて

    DB2でエクスポートを行うバッチファイルを作成しています。エクスポートするときに、エラーコードをlogに吐かれると思うのですが、エクスポートに失敗した場合は、このlogファイルも吐かれません。しかも、より細かい(1件目のレコードが正しくエクスポートされた。2件目のレコードでエラーが発生しました。等)エラーコードをlogファイルに吐いて残したいのですが、何かよい方法はないでしょうか?よろしくお願いします。

  • アクセスログについて

    会社のサーバ管理者をしているtani-mariと申します。 Windows NTでのイベントビューアーからアクセスログは取得して管理を 行っているのですが、Windows2000をファイルサーバとしても運用を行っています。Windows2000でもアクセスログを取得することはできるのでしょうか? 管理ツールのなかのイベントビュアーをみてもそれらしいものがでてこないので、無理なのかなぁ~と不安になっています。 もし難しい場合アクセスログを管理できるツールなどをご紹介していただけないでしょうか。 お手数ですがよろしくお願いいたします。

  • アクセスログテーブルの構造について

    このジャンルでお願いします。 よくアクセスログの解析を無料で(リンクを貼ったりして)行ってくれるサービスがありますが、 そのデータベースの構造というかテーブルの構造はどのようになっているのでしょうか? 例えば、膨大なレコード数になると思うので それを利用するユーザー毎にテーブルを分けるとかするのでしょうか? あるいはユーザー毎、年毎、月毎、日毎、に分けるとか? 本来ならテーブルを分割したりするのは違うんじゃないかなぁと思ったりするのですが、 なので次のように、 CREATE TABLE `accesslog` ( `id` int NOT NULL auto_increment, `user_id` varchar(16), `created` datetime, `ip` varchar(64), FOREIGN KEY(`user_id`) REFERENCES `user`(`id`) ); ユーザーも全ての期間のデータも1つのテーブルで管理するのが普通だとは思うのですが、 アクセスログだけは利用するユーザー数にもよりますがやはり膨大になりますよね? そうすると1つのテーブルだと無理があると思うのです。 あるいは単にテキストファイルとして保存する方法もあるのかな?と思うのですが、 やはりなにかとSQLで操作したいのでMySQLなどのテーブルの設計が知りたいです。

  • 異なるDB間の異なるテーブルの特定レコード間のリンクは可能か?

    Window98, Access2000を使用しています。 現在(1)住所録DBと(2)家計簿DBをAccessにて作成しています。家計簿DBは長年使っていますのでかなりの情報量です。(1)の住所録DBは先日から作り始めたばかりです。そこで質問させていただきたいのですが、(2)の家計簿DBにあるAccount名と住所録DBにある会社名とリンクをさせたいのですがどのようにしたらよいのでしょうか? 外部テーブルとしてリンクさせるテーブルを新たに新規Account名として追加して家計簿DBにつくることは出来ますが、完全な目的達成の問題点として、 1)家計簿DB内にあるAccount名の数は1000件を超えていますが、そのそれぞれのAccount名テーブルはかなり簡素なものなので、そのテーブル構造及びフィールド(住所、担当者(個人名)、交信情報(メモ))やそれぞれのリンク構造は住所録DBを使いたい。但し、1000件以上のAccount内容全てにその詳細情報は不要で、家計簿DBの特定のAccount名につき住所録DBの会社テーブルにある特定のレコードとリンクさせ、内容を充実させたい。即ち異なるDB間で特定のテーブル内にある特定のレコード間のリンクは可能か否か? 2)家計簿DB内のAccount名は会社名もあれば個人名もあります。一方住所録DBには、家計簿DBのAccount名テーブルの該当リンク先テーブルとして、会社名は (a)会社テーブル、個人の場合は (b)担当者(個人)テーブルのように2種類のテーブルが存在していますが、それぞれ該当レコードにリンクさせる事は可能か? 上記1)、2)に付き技術的可能性の可否について、或いは目的達成のためのアイデアが頂ければ喜びます。宜しくお願いします。

  • DB管理ソフトについて

    DB管理ソフトについて 仕事でつかっていたDB管理ソフトが分からなくなったので、仕事で使うようなソフトの 名前をいくつかおしえてください。 ちなみに、Accessではありません 論理構造を見る事も出来、画面操作でsqlも作成出来ていました よろしくお願いします