数値文字参照「－」が文字に変換できない。

質問

HTMLファイル内の日本語が数値文字参照で書かれていて、
それを普通の文字に変換したいと思い、以下のプログラム
で数値文字参照を文字に変換してみました。
文字コードはシフトジスです。

use Encode;
use encoding 'shiftjis';binmode(STDERR, ':raw :encoding(shiftjis)');

while (<STDIN>) {
my $line = $_;
$line =~ s/&#([0-9]{1,5});/chr($1)/eg;
$line =~ s/&#[xX]([0-9A-Fa-f]{4});/chr(unpack('S', pack('H4', $1)))/egi;
print $line;
}

ほとんどの文字はテキストエディタでも見える文字に変換されたのです
が、数値文字参照「－」（ブラウザで見るとマイナス記号？）は
変換できませんでした。

また、ブラウザ上でこの文字をコピーしてメモ帳にペーストしてみると
ちゃんとブラウザ上と同じマイナス記号？が表示されます。

原因が分かるかたがいましたら回答をお願いいたします。

回答No.1

sakusaker7 · ベストアンサー

原因ですが、Unicodeと他のコードとの変換のときに用いる変換表の混乱によるものです。
詳しくは、 Unicode ff0d あたりをキーワードに検索してみてください。

回避策ですが、
use encoding 'shiftjis' を use encoding 'cp932'
に変更してみてください。

use encoding 機能は使わないほうが良いと思いますが
これはまた別の話ですので割愛します。

お礼

use encoding 'cp932';

に変更してみたら、ちゃんと変換されました。

これから変換表の混乱について調べてみようと思います。

ありがとうございました。