guess_encoding()の挙動が意味不明

質問

以下のプログラムを作成しました。

　　#! /usr/bin/perl -
　　#
　　#文字コードが分からない文字列を、
　　#文字コードを判別した上で、UTF-8に変換して表示
　　#
　　#

　　#テストを行うファイル
　　my $fh="shift-JIS.txt";

　　use strict;
　　use CGI;
　　use CGI::Carp qw(fatalsToBrowser);
　　use Encode;
　　use Encode::Guess;

　　my @all_encodings=Encode->encodings(":all");　・・・Ａ

　　open IN,$fh;
　　our @data=<IN>;
　　close IN;

　　my $q= new CGI;

　　print $q->header(-charset=>'utf8'),
　　 $q->start_html(-title=>'Encode::Guessの使い方',
　　 -lang=>'ja-JP',
　　 -charset=>'utf8'),
　　 $q->p('Encodeモジュールがサポートしている文字コード形式を対象に、<br>
　　　　　　　テストファイルの文字コードを判別した上で、UTF-8に変換してUTF-8のHTMLファイル中で表示するCGIです。');

　　our ($check,$decoder);

　　foreach my $i (@all_encodings) {　・・・Ｂ
　　 if($i ne "UCS-2BE" and $i ne "UTF-16" and $i ne "UTF-16BE" and $i ne "UTF-32") {　・・・Ｃ
　　　 $check=1;

　　　 foreach my $j (@data) {
　　　 $decoder=guess_encoding($j,$i);　・・・Ｄ
　　　 $check=0 unless ref($decoder);
　　　 }

　　　 print "$check &nbsp; $i<br>\n";

　　　 if($check==1) {
　　　 foreach my $j (@data) {
　 　　 $j=$decoder->decode($j);
　　　 $j=encode('utf-8', $j);
　　　 print "$j<br>\n";
　　　 }
　　　 }
　　　}
　　}

　　print $q->end_html;

Ｄ式の$iを"shiftjis"、"euc-jp"でハードコードしてテストをすると、前者ではファイルの中身が書き出され、後者ではタイトル以外表示されませんでした。意図された通りの動作です。

次に、Ａ式でEncodeがサポートしている文字コードを全て@all_encodingsに格納し、その一つ一つをＢ式のforeach文でＤ式に代入しています。

想定した挙動は
$i="shiftjis"の時のみ
　　　　$check=1で文字列を表示し、
　それ以外では
　　　　$check=0で文字列は表示されない
というものです。

ところが結果は、
　　0 7bit-jis
　　0 AdobeStandardEncoding
　　0 AdobeSymbol
　　0 AdobeZdingbat
　　0 ascii
　　0 ascii-ctrl
　　0 big5-eten
　　0 big5-hkscs
　　0 cp1006
　　1 cp1026
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　0 cp1047
　　1 cp1250
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　0 cp1251
　　0 cp1252
　　1 cp1253
　　b￡b2boE[NAE CnebEnK±ib§b\b§b¨aa
　　（続く）

というように$check=1を取る文字コードが幾つかあり、不思議なことには表示された文字列が全て全く同じ文字化けをおこしています。$i="shiftjis"の時でも同じです。ハードコートしていた時には、"shiftjis"の時には正しい表示が行われていました。

ましてや、Ｃ式ではじいた２種の文字コードに至っては、他の文字コードと同様に処理を行うとエラーが出てプログラムが止まるから、はじかざるを得ませんでした。

ちなみにそのエラーメッセージを表示すると、
UTF-16:Unrecognised BOM 62c2 at O:/usr/lib/Encode/Guess.pm line 139.
といった感じです。

どうしてこうなるのでしょう。

というか、どうすればキチンときどうするようになるでしょう。

お手数をおかけします。

回答No.6

Werner

> foreach文で全ての文字コードを検証したのですから、@dataはutf8に書き換えられているのだし、
> 全ての文字コードでutf8がヒットしてしまい、$check=0となることは最初のヒット以降ないはずです。
あれ？
| print ref($decoder) ? $decoder->name : $decoder;
の出力結果をみて気づかなかったですか？
@dataがutf8に書き換えられた後は、実際に「全ての文字コードでutf8がヒット」しているはずですよ。

そして、 $check=1 となるのは「utf8だけがヒット」したときで、
それ以外の時は $check=0 になります。

なぜなら、guess_encodingは複数の候補にヒットしたときに
"cp1026 or utf8" のような文字列を返すからです。

お礼

永らくどうもありがとうございました。
本当に助かりました。

お二方にはとても丁寧にご教授いただいたので、「良回答」をどちらに差し上げるか困ってしまいます。でもお一人にしか差し上げられないので、鉛筆転がしで決定させていただきました。

ありがとうございます。

補足

私の文法が拙かったんですね
　print "decoder: $decoder->name<br>\n";
と書いたら
　decoder: Encode::XS=SCALAR(0x3111af4)->name
　decoder: Encode::utf8=HASH(0x30ffea4)->name
　decoder: Encode::utf8=HASH(0x30ffea4)->name
　(続く）
となって、文法が間違えているのは分かったんですけど、確かに最初以外はutf8になっているから、それ以上追及しませんでした。

Wernerさんの書かれている通り
　print ref($decoder) ? $decoder->name : $decoder;
　print "\n";

とやるとこんな感じです。
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　No appropriate encodings found!
　cp1006
　cp1026 or utf8
　cp1047 or utf8
　utf8
　cp1251 or utf8
　utf8
　utf8
　(続く)

Wernerさんがprint文を二つに分けたのには意味があるのだろう、というかこの場合は最初のprint文は三項式になっているからコードを二つに分けざるを得ないのですが、それだけが理由ではないのだろうと思いまして、私のprint文も分けてみました。
　print "decoder: ";
print $decoder->name;
print "<br>\n";

めでたく参照は出なくなりました。

でも表示内容がWernerさんと違う・・・

このprint文は$check=1の文字コードだけ表示したのですが、なるほど$check=1の場合は、本来の文字コードがヒットせず、結果utf8に一意に確定したから$check=1なんですね。本来の文字コードがヒットすると文字コードが一意に決まらずエラーが出て$check=0となってしまう。すると私の記述法では表示されない。

print文の位置を動かして、$checkの値に関係なく全ての文字コードを表示させてみました。すると$check=0ではエラーが出てしまいました。
　Can't locate object method "name" via package "No appropriate encodings found!" (perhaps you forgot to load "No appropriate encodings found!"?) at O:\public_html\test\encode\test.cgi line 48.

なるほど。Wernerさんが三項式を用いた理由が分かりました。

勉強になります。

ところでcp936に対してでたエラーメッセージとこのエラーメッセージは似てますね・・・