guess_encoding()の挙動が意味不明

質問

以下のプログラムを作成しました。

　　#! /usr/bin/perl -
　　#
　　#文字コードが分からない文字列を、
　　#文字コードを判別した上で、UTF-8に変換して表示
　　#
　　#

　　#テストを行うファイル
　　my $fh="shift-JIS.txt";

　　use strict;
　　use CGI;
　　use CGI::Carp qw(fatalsToBrowser);
　　use Encode;
　　use Encode::Guess;

　　my @all_encodings=Encode->encodings(":all");　・・・Ａ

　　open IN,$fh;
　　our @data=<IN>;
　　close IN;

　　my $q= new CGI;

　　print $q->header(-charset=>'utf8'),
　　 $q->start_html(-title=>'Encode::Guessの使い方',
　　 -lang=>'ja-JP',
　　 -charset=>'utf8'),
　　 $q->p('Encodeモジュールがサポートしている文字コード形式を対象に、<br>
　　　　　　　テストファイルの文字コードを判別した上で、UTF-8に変換してUTF-8のHTMLファイル中で表示するCGIです。');

　　our ($check,$decoder);

　　foreach my $i (@all_encodings) {　・・・Ｂ
　　 if($i ne "UCS-2BE" and $i ne "UTF-16" and $i ne "UTF-16BE" and $i ne "UTF-32") {　・・・Ｃ
　　　 $check=1;

　　　 foreach my $j (@data) {
　　　 $decoder=guess_encoding($j,$i);　・・・Ｄ
　　　 $check=0 unless ref($decoder);
　　　 }

　　　 print "$check &nbsp; $i<br>\n";

　　　 if($check==1) {
　　　 foreach my $j (@data) {
　 　　 $j=$decoder->decode($j);
　　　 $j=encode('utf-8', $j);
　　　 print "$j<br>\n";
　　　 }
　　　 }
　　　}
　　}

　　print $q->end_html;

Ｄ式の$iを"shiftjis"、"euc-jp"でハードコードしてテストをすると、前者ではファイルの中身が書き出され、後者ではタイトル以外表示されませんでした。意図された通りの動作です。

次に、Ａ式でEncodeがサポートしている文字コードを全て@all_encodingsに格納し、その一つ一つをＢ式のforeach文でＤ式に代入しています。

想定した挙動は
$i="shiftjis"の時のみ
　　　　$check=1で文字列を表示し、
　それ以外では
　　　　$check=0で文字列は表示されない
というものです。

ところが結果は、
　　0 7bit-jis
　　0 AdobeStandardEncoding
　　0 AdobeSymbol
　　0 AdobeZdingbat
　　0 ascii
　　0 ascii-ctrl
　　0 big5-eten
　　0 big5-hkscs
　　0 cp1006
　　1 cp1026
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　0 cp1047
　　1 cp1250
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　0 cp1251
　　0 cp1252
　　1 cp1253
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　（続く）

というように$check=1を取る文字コードが幾つかあり、不思議なことには表示された文字列が全て全く同じ文字化けをおこしています。$i="shiftjis"の時でも同じです。ハードコートしていた時には、"shiftjis"の時には正しい表示が行われていました。

ましてや、Ｃ式ではじいた２種の文字コードに至っては、他の文字コードと同様に処理を行うとエラーが出てプログラムが止まるから、はじかざるを得ませんでした。

ちなみにそのエラーメッセージを表示すると、
UTF-16:Unrecognised BOM 62c2 at O:/usr/lib/Encode/Guess.pm line 139.
といった感じです。

どうしてこうなるのでしょう。

というか、どうすればキチンときどうするようになるでしょう。

お手数をおかけします。

回答No.1

Werner

○うまくいかない直接の原因
> foreach my $j (@data) {
> 　 $j=$decoder->decode($j);
> 　 $j=encode('utf-8', $j);
> 　 print "$j<br>\n";
> }
ここで@dataを書き換えてしまっているので、
2回目以降のdecodeが全て失敗しているのだと思います。

なぜ、@dataが書き換わるのか分からなければ、以下のスクリプトを試して見れば分かります。
#--ここから--
my @data = (0,1,2,3,4,5,6,7,8,9);
print join(",", @data) . "\n"; #=> 0,1,2,3,4,5,6,7,8,9
foreach my $j (@data) {
　$j = $j + 10;
}
print join(",", @data) . "\n"; #=> 10,11,12,13,14,15,16,17,18,19
#--ここまで--

○他の余り良くない点
> foreach my $j (@data) {
> 　$decoder=guess_encoding($j,$i);
> 　$check=0 unless ref($decoder);
> }
データを細切れにしてguess_encodingに渡すのは
判定精度が落ちるので良くありません。
guess_encodingには出来るだけ多くのデータを、
例えば今回の場合はファイルの内容を全て渡した方が良いでしょう。

もっとも、このコードだと1行でもguess出来なければ失敗としているので
精度に関しては問題ないかもしれません。
しかし、ループする分処理効率が落ちますし、
あまり良いことはないと思います。

また、guess_encodingの第二引数には、エンコーディング名のリストを渡せるので
@all_encodingsを渡してしまって良いと思います。

#----------Sample----------
use utf8; #このスクリプトはUTF-8で記述されている。
use strict;
use warnings;
use Encode;
use Encode::Guess;
binmode(STDOUT, ":utf8"); # STDOUTに出力するとき、PerlIOレイヤで透過的にUTF-8に変換

# 全てのエンコード名取得
my @all_encodings = Encode->encodings(":all");
# BOMが必要な文字コードを除外
@all_encodings = grep {$_ ne "UTF-16" and $_ ne "UTF-32"} @all_encodings;

# ファイルの内容を全て$dataに格納
my $fname="shift-JIS.txt";
open(my $in, "<", $fname);
my $data = do {local $/ = undef; <$in> };
close($in);

# 文字コードを判定
my $guess = guess_encoding($data, @all_encodings);
my @guess_list = ref $guess ? ($guess->name) : split(" or ", $guess);

# UTF-8で出力
foreach my $enc_name (@guess_list) {
　my $decoder = find_encoding($enc_name);
　my $decoded_data = $decoder->decode($data);
　$decoded_data =~ s/\n/<br>\n/g;

　print "[$enc_name]<br>\n";
　print $decoded_data;
　print "\n";
}

補足

わざわざサンプルプログラムまで組んでくださってありがとうございます。

短いプログラムにも関わらず、私が知らないコードが幾つか入っていて、昨日からフォローのために本を読んだり、とても勉強になりました。

zxcv0000さんも指摘されていますが、ファイルを細切れにするのは問題があるとは思っていました。スマートなファイルダンプの方法を知らなかったので、とりあえず後回しにしていたのですが、知っている方が書かれると、とても簡単ですね。

同じ文字化けが何度も出てきたのでとまどってしまいました。確かにファイルデータを取り込んだ@dataを最初のループで書き換えてしまうと、２回目以降は元のファイルデータで処理を行うことが出来ませんね。これはEncode.pmがどうこう以前のバグです。失礼いたしました。

ちょっと分からないのが、前回私のプログラムを作動させた際に、@dataに最初の書き込みを行った文字コードはcp1006であるようですが、この時Perlは@dataをcp1006で書かれていると判断してそれをutf8に変換しています。その次にcp1025で同様な作業をしているわけですが、一旦utf8に変換したデータをcp1025と判定してもう一度utf8に再変換をかけることになりますから、@dataは
　$decoder=guess_encoding($j,$i);
が、「この文字コードが使われています」と判断する度に書き換えられて違う値を取るようになってしまうのではないでしょうか。

毎回同じ文字化けを起こしてしまうのは何故なのでしょう。