ファイルの結合

質問

UNIX上で下記のようなfileA、fileBから
fileA
aaa,aaa,222
aaa,bbb,111
aaa,ccc,333

fileB
aaa,aaa,111
aaa,bbb,222
aaa,ccc,333
aaa,ddd,999

下記のようなfileCを作ろうとしています。
fileC
aaa,aaa,222
aaa,bbb,111
aaa,ccc,333
aaa,ddd,999

そこで、以下のように一列目と２列目をキーにして、sortすることにしました。
cat fileA fileB | sort -u -k1,2 -t, > fileC

すると、fileCは下記のようになりました。(一行目の３列目が222ではなく、111になってしまいました)
fileC
aaa,aaa,111
aaa,bbb,222
aaa,ccc,333
aaa,ddd,999

キー項目以外はfileAを優先させたいのですが、なにか良い方法はないでしょうか？

回答No.2

nightowl · ベストアンサー

こんにちは。もうご自分で解決されましたでしょうか？
GNU sort 2.0.8(GNU textutils)では最初からお望みの結果が出たのですが、
処理系依存の動作のようですので、No.1 の方のアドバイスに沿って
AWK の一行野郎(ワンライナー)をどうぞ。

$ awk -F, '{if (a[$2] != $2) {a[$2] = $2; print $0}}' fileA fileB

行ごとに第２フィールドを連想配列(ハッシュ)に突っ込んでいきます。
そして、現在行の第２フィールドが連想配列に登録されていない、
つまりこの値が初めて現れた行のみを出力するという考え方です。

この結果をソートする必要があれば、改めてパイプで sort に出力を食わせてください。

以下、余談です。AWK の子孫である Perl や Ruby には
AWK エミュレーションモードなるものがありますので、試してみましょうか。

perl -F, -ane ' if ($a{$F[2]} ne $F[2]) {$a{$F[2]} = $F[2]; print}' fileA fileB

「-F,」は sort での「-t,」と同じです。「-an」で AWK の動作を模倣するとお考え下さい。
ちなみに「-pn」だと sed と同じような挙動になります。

分割されたフィールドは配列 @F に入り、$F[n](n は添え字)で呼び出せます。
ここではハッシュ(連想配列)は $a になります。
「$」で始まるのが Perl 変数の特徴。

また、Ruby ではこうなります(Perl とはどこが違うでしょうか？)。
Ruby は環境によってはインストールされていないかもしれません。

ruby -F, -ane 'BEGIN{$a={}}; if $a[$F[2]] != $F[2]; $a[$F[2]] = $F[2]; print end' fileA fileB

うーん、Perl よりも若干長くなっていますね。
しかも BEGIN なんとかも増えてるし^^;
これはハッシュオブジェクトを作り、
それをグローバル変数に入れて持ち歩く必要があるためで、
スクリプトの規模が大きくなれば可読性は逆転します。

こっちの方がまだいいかもしれません。

ruby -F, -an -e 'BEGIN{$a=Hash.new}' -e 'if $a[$F[2]] != $F[2] then $a[$F[2]] = $F[2]; print end' fileA fileB

これ以上複雑になった場合はスクリプトをファイルにした方がいいですね。
(所詮エミュレーションはエミュレーションですので、
一行野郎だけで言語の美しさを判断しないでください)

なお、Ruby には対話的な実行環境コマンド「irb」があります。
Python インタプリタ自体も対話環境ですし、
Perl でも裏技的ですがデバッガ起動すれば対話的に使えます。
(「perl -d /dev/null」で起動するとすぐデバッガのコマンドラインに落ちます。
継続行の行末には「\」をつけてください。この配慮は irb や python では不要です)