データーの整理について

質問

CSV形式のデータで重複するものが含まれているのですが
重複しないデータに変換出来ないでしょうか？

A
A　　　　　A
B　　⇒ 　B　　
C　　　　　C
C
C

という具合にCSVファイルに変換したいのです。
CGIや他の方法があれば教えてください。

回答No.1

imogasi · ベストアンサー

質問する以上下記の説明が必要と思います。
CSVファイルは、フィールド＝項目＝「例えばＢａｓｉｃ言語のＩｎｐｕｔステートメントで読むと１変数に入る」単位が「，」（Commma)で区切られて（デリミタ）います。そして項目１，項目２，項目３，項目４，・・の組みが１レコードとして第１レコード、第２レコード、・・・と続いています。ｆｘｘは項目（フィールド）を表すとして
f11,f12,f13(行の終わり記号)f21,f22,f23(行の終わり記号)
f31,f32,f33(行の終わり記号)......
ご質問のＡ、Ｂ、Ｃ,Ｄは上記で言えばどういう状況ですか。
１レコードの項目数はいくらですか。１レコード１項目ですか。そして例えば、f12=A,f22=B,f32=Cのように入っていると言うことですか。
またレコード数はいくらぐらいあるのですか。
量の多少は考えるロジックに影響します。
●上とは別に「PerlでCSVファイルをソートする方法」
http://www.ash.or.jp/perl/sort_csv.htm
で見つけました。

回答No.2

youki64

Perlでよければ・・・
A,B,CってのはCSVの１行１行のことですよね？
であれば以下の方法でいけます。

#@csv_dataにCSVデータが入っているとして
my %count;
@NEWcsv_data = grep(!$count{$_}++, @csv_data);

これで@NEWcsv_dataに重複の無いデータが入ります。