Perl5で同時刻のデータを統合する方法

質問

• Perl5の初心者ですが、同時刻の2つのデータを1つのデータに統合する方法を教えてください。
• データは時刻、値1、値2の形式で提供されており、欠測値には-999を設定する必要があります。
• 開始時刻と終了時刻が異なる場合や、データのフォーマットが異なる場合も考慮する必要があります。

回答No.3

N60-BASIC · ベストアンサー

use strict;
use warnings;

# 時刻をキーとする出力用ハッシュ
my %data;

open(my $fh1, '<', 'test1.txt') or die($!);
while(<$fh1>) {
chomp;
my($time, $data1, $data2) = split /,\s*/;
# 配列のリファレンスを生成し、$timeをキーとするハッシュに値として代入する
$data{$time} = [$data1, $data2, "-999.0", "-999.00"];
}
close($fh1);

open(my $fh2, '<', 'test2.txt') or die($!);
while(<$fh2>) {
chomp;
my($time, $data3, $data4) = split /,\s*/;
if(exists $data{$time}) {
# ハッシュのキーがすでに存在する ＝ test1.txtに同じ時刻の値があった場合
# 配列のリファレンスを参照して配列の値を一部上書きする
$data{$time}->[2] = $data3;
$data{$time}->[3] = $data4;
} else {
# ハッシュのキーが存在しない ＝ test1.txtに同じ時刻の値が無かった場合
# 配列のリファレンスを生成し、$timeをキーとするハッシュに値として代入する
$data{$time} = ["-999.0", "-999.0", $data3, $data4];
}
}
close($fh2);

open(my $fh_out, '>', 'test.txt') or die($!);
# ハッシュのキー（＝時刻文字列）をソートしてループを回す
foreach my $time (sort keys %data) {
# 配列のリファレンスを配列に戻したものを時刻と一緒にカンマ区切りでくっつける
print $fh_out join(', ', $time, @{$data{$time}})."\n";
}
close($fh_out);

exit;

=comment
・Perlで「値の重複チェック」をするなら、まず最初にハッシュを使うアルゴリズムを検討します。
ハッシュとは、（誤解を恐れずに言うのなら）任意の文字列を添字に持つことが出来る配列変数のようなものです。
同一のキーがすでに存在するかどうかを高速に（ほぼ一瞬で）調べることができるという利点があります。
ただし、キー（とペアになる値）の順序情報はハッシュ単体では持っていませんので、
データの順序関係が必要になる場合は、（今回の回答サンプルのように）キーでソートしたり、
別途ソート用の配列を作るなどの工夫が必要です。

・ハッシュは配列と同様に、１つのキー（添字）につき１つの値しか持つことができませんが、
リファレンスという仕組みを使うことで「配列のハッシュ」や「配列の配列」などを実現できます。
サンプルではハッシュの値として配列データを持つ「配列のハッシュ」を作りました。詳細は検索してみてください。

・今回のサンプルでは、元データのデータ検証や出力フォーマットの再整形が不要に見えましたので
簡略化のために全て文字列データとして扱っています。
再整形の必要があるならprintfでどうぞ。

・時刻文字列（hh:mm:ss）は秒単位での一致確認をする限りにおいては分割の必要がありません。
桁ごとに数値比較するよりは、まとめて文字列比較したほうが簡単で速いです。
例として、分単位でまとめる場合には、時刻をばらして「hh:mm」をキーとするハッシュを作ることになるでしょう。

・利用する変数を必ずmyで宣言するなど、（Perl4ではなく）Perl5の文法で書くことをお勧めします。
use strict; use warnings; と組み合わせれば、変数名の間違いや初期化忘れに対して警告やエラーを出してくれます。
一番厄介な「エラーの出ない不具合」をある程度未然に防ぐことができます。
質問者さんのサンプルで言うと、$mや$nを0で初期化せずに使っている部分などが警告対象となります。

・詳細は検索してみてください。
参考になるキーワード：「Perl ハッシュ」「Perl 変数 リファレンス」「Perl5 use strict」など。
=cut

お礼

ご回答ありがとうございました。
お礼が遅くなり申し訳ありませんでした。

N60-BASICさまのプログラムを参考にしてして
テストデータより複雑な本データの処理が無事にできました。

>・利用する変数を必ずmyで宣言するなど、（Perl4ではなく）Perl5の文法で書くことをお勧めします。
>use strict; use warnings; と組み合わせれば、変数名の間違いや初期化忘れに対して警告やエラーを出してくれます。
はい、C言語などでしたらコンパイルエラーですね…
「動くから」ではなく今後気をつけてプログラムを作成していきたいと思います。

丁寧な解説や参考キーワードなどを教えていただき本当にありがとうございました。