perlでCSVをソートする方法について

質問

• perlでcsvファイルを37番目のカラムで降順ソートし、値によって行数が均等になるように3分割し、グループごとにフラグを入れたいです。
• ソートロジックは理解しましたが、グループ化しフラグを入れるルーチンがうまく作れません。
• 最終的には3万件のデータを分割し、5列の値で分類して、グループごとにフラグを入れたいです。

回答No.1

kumoz

out.txt を作成するまでは、よくできているいるように思います。その後の細分化しながらのグループ分けは、あまり有効的なやり方ではありません。カラム３７番目 (コード中も 37 になっているので、0 から数えた？) が整数であるとすると、最大 50 種類で平均しても１種類で 600 行にもなってしまうからです。ソート対象は３７番目のカラムのみのようですので、ソート済みの out.txt の行を順に 11111, 11112, 11121, ..., 34232, 34241, 34242 に割り当てたほうが簡単に済むように思います。

while (my $line = <$fh>) {
...
if (eof) { $groupGyousuu = int($. / 192); $amari = $. % 192; }
}

最初の while ループの最終行でグループ行数と余りの行を算出しておきます。次のコードでは、フラグをファイ名に含めてあります。行に入れる場合は、コメントアウトしてある行を参考にしてみてください。(なお、余りの行がない場合、余分な空ファイルが作られてしまいますが、繁雑になるので除外のコードを入れてありません。)

my ($count, $idx_amari, $flag) = (0, 0, '11111');
open IN, '<:encoding(cp932)', "$dir/out.txt" or die "Can't open: $!";
open OUT, '>:encoding(cp932)', "$dir/out$flag.txt" or die "Can't open: $!";
while (my $line = <IN>) {
# substr($line, index($line, ','), 0) = ',' . join(',', split //, $flag);
print OUT $line;
$count++;
if ($count == $groupGyousuu + ($idx_amari < $amari ? 1 : 0)) {
close OUT;
$flag = next_flag($flag);
$idx_amari++;
open OUT '>:encoding(cp932)', "$dir/out$flag.txt" or die "Can't open: $!";
}
}
close OUT;

sub next_flag {
my @temp = split //, $_[0];
my @limit = (3, 4, 2, 4, 2);
foreach my $i (reverse 0 .. 4) {
if ($temp[$i] < $limit[$i]) {
$temp[$i]++;
return join('', @temp);
} else {
$temp[$i] = 1;
}
}
}