- ベストアンサー
数１００MB単位のログの解析方法
takemikazuの回答
- takemikazu
- ベストアンサー率0% (0/2)
有料ですが、 MIFES8 最大2GB×100ファイルまでオープンでき、大容量ファイルも高速に読み込みます。
関連するQ&A
- ログファイルを後ろから検索し、最初のマッチで止める
CentOS 5 を使っています。 とある巨大なログファイルがあります。 例えば grep hoge log.txt | tail -1 みたいな事をやっているのですが、これをどうにか高速にできないですかね？ 上記だと、ログファイルを全検索しているので効率が悪いです。 （ログファイルはファイルの最後の方に新しい情報が記録されているので、その最新ログが見たいのです） 安易に思いつくのは tac コマンドを使って tac log.txt | grep hoge | head -1 でもいいんですが、grep で「最初のマッチで終了」してくれるオプションもなさそうです。 何か良い方法があればご教示願います。 （ruby 等でスクリプトを書いても良いのですが、何とかワンライナーで出来ないかなと） P.S ちなみに実際の見たい情報は「grep でマッチした前後数行」なので -A や -B オプションを使っています。
- ベストアンサー
- その他([技術者向] コンピューター)
- vimのgrepの使い方がよくわかりません
WindowsXPでvimを使い始めたのですが、 grepのやり方がよくわかりません。 一応、unixでgrepやviは最低限レベルでは使えます。 やりたいこととしては、 指定のテキストから、特定の文字列を検索して、 結果を一覧で表示させて、 その中からどれか選んで、その行へジャンプして表示する ということがやりたいです。 で、たぶんgrepでやれるんじゃないかと思って質問しています。 grepに関する簡単な解説を読むと、 (esc)したあと、 :grep hoge hoge.txt でできる、というようなことが書いてあるのですが、 上記で実行すると、 :!findstr /n hoge hoge.txt > c:xxxxxxxx 2>&1 (1 of 1): 1:hoge と出ますが、ここから何をしていいかわかりません。 grepの機能としてはここで終わりなのでしょうか？ ここから結果の行へジャンプしたりできないのでしょうか？ また、grep対象のファイルって毎回自分で入力するのでしょうか？ たとえば、現在編集しているファイルを対象としたい場合、 現在のファイル名となる変数みたいものはあるのでしょうか？
- ベストアンサー
- その他([技術者向] コンピューター)
- アスタリスクを文字列として変数に入れるには
HP-UX cshで、アスタリスクを文字列として 変数に入れるにはどうしたら良いでしょうか？ 現在は <file3の中身> grep -v file*.txt | grep -v file2.txt で、 set hensu=`cat file3.txt`としてecho $hensuすると grep -v file1.txt file2.txt file3.txt | grep -v file2.txt という具合に、アスタリスクがワイルドカードとして 働きます。これを「file*.txt」という文字列として 変数に入れる方法を教えてください。 宜しくお願いします。
- ベストアンサー
- その他(OS)
- 複数日を含むログから各日の先頭を取得する方法
Linuxコマンドを駆使し、[log.txt]から[result.txt] を得たいと思っています。 --[log.txt]--------------------- 10/11/15 00:00:00 … 10/11/15 00:00:01 … 10/11/15 00:02:34 … 10/11/15 23:05:06 … 10/11/16 00:00:01 … 10/11/16 00:12:34 … 10/11/16 23:55:56 … 10/11/17 00:12:31 … 10/11/17 00:12:34 … 10/11/17 23:55:56 … 10/11/18 01:02:03 … 10/11/18 00:12:34 … 10/11/18 23:55:56 … -------------------------------- --[result.txt]------------------ 1:10/11/15 00:00:00 5:10/11/16 00:00:01 8:10/11/17 00:12:31 11:10/11/18 01:02:03 -------------------------------- 試行錯誤の上、以下のコマンドで期待する結果が得られました。 1：grep -Po "^\d\d/\d\d/\d\d" log.txt > 00.txt 2：uniq 00.txt > 01.txt 3：(01.txtの内容でループ) grep -Pno -m 1 "^10/11/15 \d\d:\d\d:\d\d" log.txt >> 02.txt とりあえず出来たので、これでもいいのですが、 少し冗長な感じがするのと特に本当に対象としているログファイルは、 300MB・300万行以上あるのでできるだけすっきりとシンプルに 高速に実行できる方法を望んでいるため、よりよい方法を求め 質問をすることにしました。 [log.txt]から[result.txt]を得るよりよい方法、これを教えてください。 もしもこれがベストっぽいならその旨のコメントや、 その他アドバイスなどでも歓迎です。 よろしくお願いします。
- ベストアンサー
- Linux系OS
- UNIXで複数のログファイルからエラー文字を探す
初歩的な質問で申し訳ないのですが、UNIXで複数のログファイルから エラー文字を探して、確認したい次第です。 探したい文字列：E0001 ログファイル：20110823.log 20110824.log 20110825.log等日付名のログファイルがたくさんあります。 grepコマンドを使うといいと思うのですが、ご教授いただけますでしょうか。
- ベストアンサー
- その他（ITシステム運用・管理）
- .txtではなく.logの方が良いのでしょうか？
vbaでシステム開発をしていて、テキストファイルにログを書き出そうと思うのですが その際拡張子は.txtではなく.logの方が良いのでしょうか？ txtとlogは、ファイル名で判断するためだけで中身の機能は同じですか？
- ベストアンサー
- その他（プログラミング・開発）
- grepコマンド
質問させてください。 ファイルから指定した文字列を含まない行を別ファイルに 書き込もうとしています。 gunzip -c tmp.gz | grep -i -v '.txt' > work.txt 上記の場合、tmp.gzを解凍したファイルの行に大文字・小文字関係のない ".txt(Txt, tXt, TxT, ・・・"の文字列を含まない行を work.txtに書き込んでいます。 これはうまくいったのですが、判定文字列を複数にすると 『ファイルを見つけようとしてエラーがでました』となります。 ちなみにコマンドは gunzip -c tmp.gz | grep -i -v '.txt' -i -v '.log' -i -v '.pdf'> work.txt 複数の大文字小文字を区別しない指定された文字列を含まない行を 別ファイルに書き込むにはどのようにすればいいのでしょうか？ すみません、あまり経験がないのでお許しください。 よろしくお願いいたします。
- ベストアンサー
- その他(OS)
- UNIXで、とあるテキストに対して2文字区切りで改行をいれるには？
UNIXのシェルスクリプトで、このような動作ができないものかどうか考えています。 あるテキストファイルの内容を、2文字ごとに区切って改行を入れるように加工する 例えば file1.txt が以下のような内容であれば --file1.txt-- 000092 027301 01 0263000001 2文字ずつ区切って改行を挿入したファイル --file2.txt-- 00 00 92 02 73 01 01 02 63 00 00 01 を生成したいと思います。 ここで元のファイルは必ず、半角の数字のみで構成されており、 1行の文字数は最低2文字以上あり、なおかつ奇数個の文字列は存在しないものとします。 awk や grep や sed を組みあわせて考えているのですが、 なかなか解決に至りません。 どなたかお知恵を拝借願います。
- 締切済み
- その他（プログラミング・開発）
- rdコマンドでログ出力方法
バッチファイルのrdコマンドでログを出力させたいのですが、ログが出力されません エラー出力は出力されるのですが、標準出力が出力されず、困っています 以下フォルダ構成 -sample.bat -test -log.txt 以下、バッチのサンプルです sample.bat rd /s /q test >> log.txt testフォルダは削除されるのですが、ログに処理内容が記述されず困っています。 また、エラー出力 rd /s /q test2 >> log.txt 2>&1 とするとエラー結果がlog.txtに出力されます。 正常に処理されたときの出力方法ご存知の方いらっしゃいましたらご教授ください よろしくお願いいたします
- ベストアンサー
- その他（プログラミング・開発）
- アプリケーションのログファイルから、特定文字列を抽出し、
アプリケーションのログファイルから、特定文字列を抽出し、 一致する場合ユーザ名とアクションをまとめたcsvファイルに出力をさせるvbsを作成したいのですが、 いろいろと調べても殆どが結果に結びついていません。 イメージは以下のようなものになります。 インプットファイル（ログファイル）には、以下のように出力されています。 20100601 USER1 update 20100601 USER2 logon 20100601 USER3 delete . . . . このファイルから、たとえばupdateを抽出し、その行にupdateの文字列が含まれていたら、 行内にあるUSER1を抽出させます。 処理が終わったら、以下イメージのCSV出力ファイルを作成します。 DATE,USERNAME,logon,update,delete 20100601,USER1,0,1,0 20100601,USER2,1,0,0 20100601,USER3,0,0,1 集計はエクセルを使用するのでカウントはせず、フラグ（１）を立てるだけをイメージしています。 updateの文字列は実際には記号等が含まれるので、grepのような正規表現にて抽出しないと難しい と思うのですが、vbsでのgrepがちょっとよくわかりません。 http://okwave.jp/qa/q5973058.html 上記アドレスで同じような質問がされていたのですが、 記載内容を実行してもエラー出力されてしまったため、質問させて頂きました。 なにとぞよろしくお願い致します。
- 締切済み
- Visual Basic
お礼
MIFES6は使ったことがあるのですが、大容量ファイルにも対応していたのですか。 今回は、有料なので敬遠させていただきます。 回答ありがとうございました。