重複文字列の消去について

質問

同じファイル内での重複文字列の消去について教えてください。
以下のようなファイルがあった時に
---text---
100 フランチャイズ
98 二酸化炭素
76 ワールドカップ
・・・
4 排出二酸化炭素
3 直営フランチャイズ
3 サッカーワールドカップ
1 ２００９年ワールドカップ
-------
「排出二酸化炭素、直営フランチャイズ、サッカーワールドカップ、２００９年ワールドカップ」はファイル上位のキーワードと重複する部分があるので消去したいと考えています。 まず、以下の処理で不要部分の抽出を考えてみたのですが、ループが一度しか回らずに処理が停止してしまいました。どのようにするとよいでしょうか。
よろしくお願いいたします。

my $file = "text";
open( my $fh, "<", $file )
or die "Cannot open $file: $!";
my $lineheader = '';
while (<>) {
$lineheader = (split)[1];
while(my $line = readline $fh){
if($line =~ /$lineheader/){
print $line;
}
$lineheader = "";
}
}

回答No.2

mtaka2 · ベストアンサー

今までに出てきたキーワードを変数に記録しておけば、
いきなり「既出キーワードのある行は出力しない」という処理ができます。

---ここから---
my $file = "text";
open( my $fh, "<", $file )
or die "Cannot open $file: $!";
my @keywords; # 今までに出現したキーワードを記録する配列変数

#ファイルの各行について処理
while (<$fh>) {
my $lineheader = (split)[1];
my $found = 0;
#既出キーワードが含まれるかどうかをチェック
foreach my $keyword ( @keywords ) {
if ($lineheader =~ /\Q$keyword\E/) {
#既出の場合、フラグを立ててチェックループ脱出
$found = 1;
last;
}
}
if (!$found) {
#既出キーワードのない行は出力
print;
#既出キーワードに項目追加
push(@keywords, $lineheader);
}
}
---ここまで---

お礼

ありがとうございます。
処理を流してみたところうまく実行できているようです。

ただファイルが巨大なので、時間がかかってしまっています。
なんとか処理はできそうですが、次回のためにも
はじめの質問で申し上げておくべきでした。

ありがとうございました。

回答No.1

Tacosan

「ループが 1度しかまわらない」というのは, どこのループのことですか?
$fh のオープンはその位置でいいのですか?

補足

一番はじめのwhile (<>) ループです。
一行目のキーワードについてのみ処理がされ
二行目のキーワードについては処理されません。。

$fh で読み込んだファイルと標準入力から読み込んだファイルは同じものです。