shift-jisをUTF-8に読み込ませる方法
- 質問者はshift-jisで保存されているCSV形式のテキストファイルからデータを取得し、UTF-8にエンコードしたいという問題に直面しています。
- 質問者はEncodeモジュールを使用して文字列をエンコードしようとしましたが、文字化けしてしまいました。
- 質問者はUTF-8で表示するためにはHTMLのmetaタグでcharset=UTF-8を指定する必要があります。
- ベストアンサー
shift-jisをＵＴＦ－８に読み込ませるには？
shift-jisにてcsv形式で保存しているテキストファイルの配列（カンマ区切りの３番目）から取り出したものをＵＴＦ－８にエンコードする方法をご教示賜りたくご質問させて頂きました。 $Pscrtfl = "./datas/pdtscrt.txt"; open (DT,"<$Pscrtfl"); @Pscrt = <DT>; close (DT); foreach $i (@Pscrt){ @iW = split(/\,/,$i); $Pscrtfl = "./datas/pdtscrt.txt のｔｘｔに入ってる３番目のデータを取り出して、それをＵＴＦ－８文字コードに 変換して出力させたいと思っております。 現在のところ私のやってみたこと foreach(@Pscrt){ use Encode; Encode::from_to( $_, 'utf8', 'shiftjis' ); $Pscrtfl .= $_; } とエンコードかけてみるんですが。。。。やはりｃｓｖファイルの文字がＵＴＦ－８に変更していないのか、 <!doctype html> <html><head><meta charset="UTF-8">でｐｒｉｎｔしようとすると、やはり文字化けしてしまいます。 これを文字化けしない方法がお分かりの方おられましたら、ぜひご教示下さいませ。
- sintyan0902
- お礼率41% (5/12)
- Perl
- 回答数3
- ありがとう数10
- みんなの回答 （3）
- 専門家の回答
質問者が選んだベストアンサー
もし、Encode::from_to($_, 'shiftjis', 'utf-8');としても表示がおかしいとしたら、それ以外のところでプログラムが間違っているのでは？ 例えば二重引用符やエスケープが出てこない単純なCSV形式のファイルの3番めの要素をとってUTF-8に変換してHTMLとして表示するプログラムはこんな感じで書けますが、これで問題なく表示できると思いますよ。 use strict; use Encode; # ファイルからデータを読み込み my $input_file = "./datas/pdtscrt.txt"; open(my $fh, "<$input_file") or die; my @input_data = <$fh>; close($fh); # CSVの3番目の要素を抽出 my @selected_data = (); foreach (@input_data) { my @cols = split(/\,/, $_); push(@selected_data, $cols[2]); } # 3番目の要素を選び、ShiftJISをUTF-8に変換 my $out; foreach (@selected_data) { Encode::from_to($_, 'shiftjis', 'utf-8'); $out .= $_ . "<br />"; } # HTMLとして出力 print << "__EOM__"; Content-Type: text/html; charset=UTF-8 <!doctype html> <html><head><meta charset="UTF-8"> <body> $out </body> </html> __EOM__ ちなみに、質問にあるコードでちょっとおかしいと思うところはあります。 例えば、 foreach(@Pscrt){ use Encode; Encode::from_to( $_, 'utf8', 'shiftjis' ); $Pscrtfl .= $_; } の$Pcsrtfl .= $_;が何をやりたいのか自分にはわかりません。 これは次のところでファイル名を入れてましたよね？ $Pscrtfl = "./datas/pdtscrt.txt"; open (DT,"<$Pscrtfl"); @Pscrt = <DT>; close (DT); あとはCGIで表示するHTTP ヘッダーのContent-Typeなどで宣言しているcharsetが間違っているとかでしょうか。
その他の回答 (2)
- Gotthold
- ベストアンサー率47% (396/832)
from_toはdecode→encodeを一気にやってくれますが、 文字列加工するなら decode→加工→encodeとします。 （decode後decode前でないと文字列操作できない。） ================================================== use utf8; #ソースコードはUTF-8で記述 use strict; use Encode; my $Pscrtfl = "./datas/pdtscrt.txt"; # 第2引数で文字コード指定：decode("cp932", $_) を勝手にやってくれる。 open(my $in, "<:encoding(cp932)", $Pscrtfl); my @Pscrt = <$in>; close ($in); #文字列の加工とかはここでやる my $output = join("\n",@Pscrt); # print前にUTF-8に変換、変換するのが面倒なら binmode STDOUT, ":utf8"; my $output_UTF8 = encode('UTF-8', $output); #$output_UTF8 .= "あああ"; #のようにencode前後の文字列を混ぜると文字化けします。 print $output_UTF8; #とりあえずそのまま出力 ================================================== サンプル中にも書きましたが、encode前後の文字列を混ぜると文字化けします。 （encodeした文字列、言い換えるとdecodeされていない文字列の方が勝手にlatin-1文字コードと見なされてdecodeされます。） 詳しいことはEncodeの使い方を調べてみた方が良いと思います。 例えば、 Encode - 日本語などのマルチバイト文字列を適切に処理する http://d.hatena.ne.jp/perlcodesample/20091118/1246679588 Perl 5.8.x Unicode関連 http://www.rwds.net/kuroita/program/Perl_unicode.html
- hanabutako
- ベストアンサー率54% (492/895)
マニュアルを見る限り、Encode::from_toの使い方が間違っているようですが... | from_to($octets, FROM_ENC, TO_ENC [, CHECK]) http://search.cpan.org/~dankogai/Encode-2.55/Encode.pm#from_to なので、shift_jisをutf-8にしたいなら、 Encode::from_to($_, shiftjis', 'utf-8'); では？
補足
素早い回答ありがとうございます！！ ご指摘頂いたようにやってみましたが、やはり文字化けが解消しませんでした。。。。 何が間違ってるんでしょうかねぇ～
関連するQ&A
- 文字コードの変換（Shift-JISからUTF8)
文字コードがShift-JISのCSVファイルを読み込み、UTF-8のテキストファイルに出力するのに プログラムの中で変更しようとしているのですが、うまくいきません。出力ファイルの文字コードを 確認するとShift-JISのままです。 どなたか教えていただけないでしょうか？ ActivePerl v5.16.0を使用し、Encodeモジュールのfrom_toを使用しています。 #!/usr/bin/perl use strict; use warnings; use utf8; use Encode; my $input_file="input.csv"; my $output_file="output.txt"; open (IN, $input_file) or die "$!"; open (OUT, ">$output_file") or die "$!"; while (<IN>){ chomp ($_); my @data=split(/,/,$_); for(my $i=0;$i<@data;$i++){ $data[$i]=Encode::from_to($data[$i],'shiftjis','utf8'); #Shift-JISからUTF-8に変換 $data[$i]=~s/\s+//g; print OUT $_; } print OUT "\n"; } close (IN); close (OUT);
- ベストアンサー
- Perl
- shift-jisからutf8に変換
解決に至らなかったので再度お尋ねします。 CGIのコードを見てくださいますか。 http://hotpegasus.bov.jp/mail.txt （必要な部分だけ表示しておりますので、そのままアップしても機能はしません） 改修した箇所は以下のです。 <meta http-equiv="Content-Type" content="text/html;charset=shift_jis"> &jcode'h2z_sjis(*contenido) &jcode'convert(*subject,'sjis'); &jcode'convert(*infor,'sjis'); &jcode'convert(*contenido,'jis'); &jcode'convert(*res_msg,'jis'); print "Content-type: text/html;charset=shift_jis\n\n"; ↓ sjis関連をutf8に書き換え、jcodeの頭文字をJに書き換え <meta http-equiv="Content-Type" content="text/html;charset=utf8"> &Jcode'h2z_utf8(*contenido) &Jcode'convert(*subject,'utf8'); &Jcode'convert(*infor,'utf8'); &Jcode'convert(*contenido,'utf8'); &Jcode'convert(*res_msg,'utf8'); print "Content-type: text/html;charset=shift_utf8\n\n"; require 'jcode．pl'をuse Jcode;に書き換え ※jcode：：" となっている箇所はありません 結果 メールフォームはエラーや文字化けは出なくて成功しましたが、メール受信の際、ThunderbirdPortableメーラーでは全て文字化け（文字エンコーディングは「日本語ISO-2022jp」となっています）、ウェブメールのgmailでは内容は文字化けになっていませんが、タイトルが文字化けになっています。 どこが悪かったのでしょうか？ 宜しくお願いします。
- 締切済み
- CGI
- エンコード UTF-8 とは？
「PC」からi phoneにメールを送ると「文字化け」します。 【iPhoneから送られたメールをWindows Mailとか Outlook Expressで見ると 正しくエンコードしなくて見られないことがあるのですが、それは エンコードでUTF-8を選択すれば見られるようになります。】 ↑同じような内容の質問が、 ネット上で検索かかったのですが、 そもそも「エンコード UTF-8」とは何でしょうか？ どのような設定をすれば良いでしょうか？ 因みに私がPCからiphoneにメールを送ると 「文字化けしてて見えない」といわれます。 が、文字化けする時、しない時があります。
- 締切済み
- その他（メールサービス・ソフト）
- [Perl]Shift-JISのXMLを解析する場
行き詰まってしまったので教えて下さい。 ＜やりたいこと＞ とあるAPIからXMLファイルを取得し、解析して出力する、ということをやっているのですが、元のXMLがShift-JISでエンコーディングされており、これをUTF-8に変換して出力しようとしています。 ＜問題＞ XMLを取得して解析、取り出したいパラメータが出力できるようにはなったのですが、文字のエンコーディングが上手く行っていないためか、文字化けしてしまいます。 ＜元のXML＞ <?xml version="1.0" encoding="Shift_JIS"?> <test> <prod count=3> <record> <code>アイウエ</code> </record> <record> <code>カキクケ-</code> </record> <record> <code>ABC</code> </record> </prod> </test> ＜XML解析用のコード＞ #!usr/bin/perl use utf8; use Encode qw/ from_to encode decode /; use Encode::Guess qw/ euc-jp shiftjis 7bit-jis /; use LWP::UserAgent; use XML::Simple; use Data::Dumper; #--XML取得部分省略 #--XMLはgetで$xmlに格納 $from = guess_encoding($xml)->name; &from_to($xml,$from,"utf8"); $XML::Simple::PREFFERRED_PARSER = 'XML::SAX::PurePerl'; $xs = new XML::Simple(); $ref = $xs->XMLin($xml); $xml =~ s/<\?.*\?>//; for($i=0;$i<=$#{$ref->{'test'}->{'prod'}->{'record'}};$i++){ $name = $ref->{'test'}->{'prod'}->{'record'}[$i]->{'code'}; $name = encode('utf-8',$name); print "$i : $name\n"; } ＜結果＞ 黒ダイヤに？文字で文字化けして出力される。 どなたか原因がお分かりになりますでしょうか。 よろしくお願いいたします。
- 締切済み
- Perl
- Perl utf8上でshiftjisをデコード
以下の環境にてURLエンコード（shiftjis)された文字を、UTF8として ブラウザに表示させたいのですが、上手く表示されません。 環境： サーバ：linux apache レンタルサーバ ※Encode.pm、Jcode.pm無し。追加モジュールインストール不可。 Perl version: 5.006001 ソースエンコード：utf-8 実行ソース： ------------------------------------ use utf8; require 'jacode.pl'; # $mojiに予めURLエンコードされた文字が格納されています。 # 例として「マウス」デコード前（%83%7D%83E%83X）とします。 #URLデコード $moji =~ s/%(..)/pack("c",hex($1))/ge; #デコードされたsjis文字をUTF8へコンバート jcode::convert(\$moji, "utf8","sjis"); print ($moji); ----------------------------------- 例のように「マウス」と言う文字が$mojiに格納されている場合、 以下のような文字化けとなってしまいます。 ï¾ãç¿ï½¾ï¾ã¹ 正常にマウスと表示させるにはどうすればよろしいのでしょうか。 アドバイスを宜しくお願いします。
- ベストアンサー
- Perl
- utf8使用時のフォーム入力文字コード
use utf8; binmode(STDIN,":encoding(shiftjis)"); をすると、入力時に内部変換がかかり、UTF-8として扱える という認識で使っていたのですが、下記のコードを実行してみると 入力した文字は普通に sjisで表示されます。 binmode(STDIN～ はどのような意味を持つのでしょうか。 http://www.lr.pi.titech.ac.jp/~abekawa/perl/perl_unicode.html http://www.hikoboshi.org/perl/doc/encode.html 他、いろいろなサイトで調べてみたのですが、いまひとつ 納得する回答を得ることができません。 //////////////////////////////////////////////////// use utf8; use open 'encoding(utf8)'; binmode(STDIN,":encoding(shiftjis)"); use CGI; print "content-type:text/html; charset=Shift_JIS \n\n"; print <<"EOM"; <form action="xxx.cgi"> <input type="text" name="hoe"> <input type="submit"> </form> ここは UTF-8文字列なので化ける<br> EOM $cgi = CGI->new; print $cgi->param('hoe'); //////////////////////////////////////////////////// 現在は下記のコードで自前で UTF-8に変換しています //////////////////////////////////////////////////// foreach( $cgi->param() ){ my $str = $cgi->param($_); $str = Encode::encode('utf-8', Encode::decode('shiftjis', $str)); $cgi->param( -name=>$_, -value=>$str ); }
- ベストアンサー
- Perl
- Perl 文字コードについて
From: $from To: $mailto CC: $mailcc Subject: $subject Mime-Version: 1.0 Content-type: text/plain;charset=\"UTF-8\" Content-Transfer-Encoding: 8bit この時点で、UTF-8を指定しました。 use Encode; use Encode::Guess; Encode::Guess->set_suspects( qw/ euc-jp shiftjis 7bit-jis / ); $name = encode('UTF-8', decode('Guess', $name)); で本文を、UTF-8に変換して送るようなコードを書きました。 これで一応、パソコン、スマホ共に「本文」は文字化けせず送れるのですが、 今度、別の問題が発生してしまったようで、 「件名」が文字化けしてしまうようになりました。 $subject = encode('UTF-8', decode('cp932', $subject)); 件名も、本文と同じように変換コードをしてみたところ、パソコンでは文字化けしませんでしたが「件名」で文字化けしてしまいます。 調べたところ本文と件名では、内容が違い MIMEエンコードを使用するとのことだったのですが、 実際どのように使うのかわからないです。 $subject = encode('ISO-2022-JP', decode('cp932', $subject)); encode('MIME-Header-ISO_2022_JP', $subject) このように記述するとスマホでは文字化けしないのですが パソコンで文字化けしてしまいます。 そこで、件名がパソコンとスマホで文字化けしないようにし、本文はUTF-8で送るようにするにはどのようにすればいいのでしょうか？
- ベストアンサー
- Perl
- utf-8のCSVをshift_jisに変換したい
Perl5.8でCSVをダウンロードできる仕組みをつくっています。 utf-8でコードを記述しているため当然ながらダウンロードしたCSVデータもutf-8です。 しかしながらエクセルでダブルクリックで開く場合どうしてもutf-8だと支障があるため、 shift-jis(もしくはcp932)で開きたいのです。 ダウンロード時に文字とファイルをshift_jisに変換する方法はございませんでしょうか？ 以下作成済みのコード ------------------------------------------------------- if(!open(OUT,"$CSV_FILE")){&error('CSVデーターファイルがありません'); } else{ @csvdata=<OUT>; close(OUT); } foreach(@csvdata){ $downloaddata .= $_; } print "Content-Disposition: attachment; filename=$CSV_FILE_NAME\n\n"; print $downloaddata; exit; ------------------------------------------------------- 何卒よろしくお願いいたします。
- ベストアンサー
- Perl
- 今更ながらdbmopenでutf8環境にハマってます。
今更ながらdbmopenでutf8環境にハマってます。 #!/usr/bin/perl use strict; use warnings; use utf8; use open ":utf8"; use open ":std"; my $key1='test'; my $key2='test2'; my $val1 = 'あああ'; my $val2 = 'いいい'; print "$key1 $val1\n"; print "$key2 $val2\n"; open(my$fh,">./utf8DB2"); print $fh "$val1\n"; print $fh "$val2\n"; close $fh; my %HASH; dbmopen(%HASH, 'utf8DB', 0666); #utf8::decode($val1) if utf8::is_utf8($val1); #utf8::decode($val2) if utf8::is_utf8($val2); #下記２行が無いとWide character in null operation at ... utf8::encode($val1)if utf8::is_utf8($val1); utf8::encode($val2)if utf8::is_utf8($val2); $HASH{$key1}="$val1"; $HASH{$key2}="$val2"; dbmclose(%HASH); my%DBM; dbmopen(%DBM,'utf8DB',0666); while ( my( $key , $val ) = each %DBM ){ #utf8::decode($val) if utf8::is_utf8($val); #utf8::encode($val) if utf8::is_utf8($val); print "key1 : $key 値 : $val\n" ; } foreach my$key ( keys( %DBM ) ) { #utf8::decode($DBM{$key}) if utf8::is_utf8($DBM{$key}); #utf8::encode($DBM{$key}) if utf8::is_utf8($DBM{$key}); print "key2 : $key 値 : $DBM{$key}\n"; } dbmclose(%DBM); 上記スクリプトを実行時、値を表示する際に文字化けしているのですが、これは、dbmopenで保存時既に文字化けしているのでしょうか、それとも表示する際、適切にエンコードorデコード出来てないから文字化けしているのでしょうか。 また、どのようにすれば解決可能かご教授願えませんでしょうか。 いっその事、DataDumperで保存し、読み出すように修正しようかとも思うのですが、tieに変更した場合も、同様に文字化けするのでしょうか・・ その辺りも含め、アドバイス他ご教授願えますと助かります。
- ベストアンサー
- Perl
お礼
こんなにも親切にご教示くださり、勉強できました、そしてプログラムも無事稼働しました！！ また何かの折にはご教示くださいませ(*^-^*)