文字コード変換について
- 文字コード変換についての基本的な質問について解説します。
- ファイル経由でデータをロードする場合の文字コードに関する課題や対応策について解説します。
- 外部システム経由でデータをロードする場合の文字コードに関する課題や対応策について解説します。
- ベストアンサー
文字コード変換について
現在、あるWebシステムを開発中なのですが、文字コードについて基本的な質問があります。開発中のシステムでは、データベースはOracleでAL32UTF8（UTF8)を使っています。アプリケーション自体はJavaで開発しています。このWebシステムには以下のように外部システムやファイル経由でデータをロードすることがあります。 （１）ファイル経由でデータをロードする場合 クライアント端末からファイルを読み込ませてそのファイルのデータをデータベースにロードするような動作があります。この際、ファイル自体の文字コードは重要ですか（データベースがUTF8である以上、ファイルがUTF8でないとそのままロードすると文字化けする等の現象がありますか）？基本的にはWindowsクライアントですが、OSのバージョンは多様なので、OSによっては（メモ帳などでデフォルトで保存される文字コードによっては）問題が起こり得るのでしょうか？その場合は、ファイルアップロードの際にUTF8以外の文字コードであるかを自動判別して、UTF8に変換するような必要がありますでしょうか？UNIXではnkfで指定の文字コードに変換できるらしいことは知っていますが、ウェブアプリケーションでそのような自動判別からのUTF8変換など、可能なのでしょうか？コードを教えて頂けると大変助かります。 （２）外部システム経由でデータをロードする場合 メインフレームなど他のシステムから、例えばSOAPなどでインテグレーションする場合にも、文字コードを意識しないとやはり文字化けを招くことになりますか？（文字列が例えばEUCやEBCDICでわたってくる場合は、それをコード変換する必要がありますか？）それはnkfコマンドによるファイル変換のように一発で出来ることなのか、それとも一文字一文字何らかの処理を行うものなのでしょうか？Javaで数行プログラムを書けば済むレベルの話なのか、HULFTなどの高価なツールでないと対応できない話なのか、全く想像がつかないため教えて頂けると大変幸いです。 以上、宜しくお願いします。
- rio_grande
- お礼率77% (349/452)
- Java
- 回答数1
- ありがとう数2
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
（１）文字コードは重要。ただし、Webアプリケーションにおけるファイルのアップロードの場合、 クライアントからサーバへのアップロードまでは文字コードは関係ありません。 サーバからDBへの取り込み時に、ファイルの文字コードが影響してきます。 また、Javaは自動的に文字コードを判別することはできません。明示的に記載する必要があります。 判定方法は参照URL等を参考にしてください。 その他注意点として ・Javaが使用する暗黙の文字コードは、OSによって変わります。 ・UTF-8に存在しない文字列（外字等）の扱いを決める必要があります。 （２）（１）と同様。そして、SOAPならXMLを使用しているので、文字コードは記載されているはずです。 記載されていなければ、暗黙でUTF-8が使われます。 HULFTについては使用したことがないので、回答できません。
関連するQ&A
- 文字コードの変換について教えてください
文字コードUTF-16、Little-Endian、改行コードCR/LF、BOMのデータを読み込み、 シフトJISに変換して処理するため、次のようにしたのですが、 中ほどのデータが消えてしまいます。 何か間違っていますか？ require 'nkf' ．．． text = file_in.read text_shiftjis = NKF.nkf('-sW16L',text) p text_shiftjis #確認用出力
- ベストアンサー
- Ruby
- 文字コードの判別について
とあるテキストファイルがあります。UNIX上で文字コードの判別を行いたいのですが、nkf --guess test.txtと打って調べると、 test.txt: ASCII (CRLF) となります。このファイルは、Shift-JISだという判定だと思います。 ファイルをUTF8に変換したいので、（１）Windows上のエディタ（秀丸）の機能を使ってUTF8に変換してからUNIX上にアップロードしたり、また（２）UNIX上から直接nkf -w --overwrite test.txtを実行して変換したりしたのですが、nkf --guess test.txtを打って調べると相変わらず test.txt: ASCII (CRLF) のままです。 色々調べた結果、ファイルの中身が英数字のみしか書かれていないので、nkfがこのファイルをShift JISだと「推測」しているということがわかってきました。確かに、試しにファイルの中身に日本語を書いて保存して実行してみると、ようやくnkf --guess test.txtの結果が test.txt: UTF-8 (CRLF) と表示されるようになりました。 これらの結果は、ファイルの中身のマルチバイト文字のコードを見て初めて文字コードがわかるようになるというように思えます。 私の理解ではファイル自体にEUCやShift JIS、UTF-8などの文字コードがあるものとばかり思っておりました。つまり、test.txtの内容が"This is a pen."であったとしてEUC、Shift JIS、UTF-8では全く異なる三種類のファイルが存在し得るものだと思っておりました。しかしこれは私の理解が間違っていて、英数字であれば常にShift JISであり、マルチバイト文字があって初めてUTF-8なのかEUCなのかShift JISなのかが決定されるということなのでしょうか？ 英数字のみのファイルでもUTF-8ファイルという前提を確認する方法はないのでしょうか？ 宜しくお願いします。
- 締切済み
- Linux系OS
- mysqlのデータベースの文字コードの変換について
mysqlのデータベースの文字コードの変換について教えてください。 テストサーバー環境で誤って文字コードUTF-8のデータベースを作成し、文字コードEUC-JPのデータを投入してしまいました。 それでもテストサーバー環境では文字化けせずにウェブアプリを表示できていましたが、テストサーバーのデータをエクスポートすると、テキストエディタで開いた時点で文字化けしています。 (文字コードはUTF-8、EUC-JPのいずれでも) もちろんそのデータを本番サーバーにインポートしても文字化けしてしまいます。 (データベース文字コードはUTF-8、EUC-JPのいずれでも) テストサーバーからデータをエクスポートする前に文字コードを変換することは可能でしょうか？ もしくは他に問題を解決する方法はありますでしょうか？ ご存知の方がいらっしゃいましたら教えてください。
- ベストアンサー
- MySQL
- UNIX上で文字コードの一括変換はできますか？
UNIX上で、文字コードを変換したいのですが、今まではSJISからEUCといった変換にnkfを使用してきましたが、nkfだと１ファイル毎でしか文字コードを変換できませんでした。1行のコマンドでそのディレクトリ内の全てのファイルの文字コードを変換してくれるコマンドはありますでしょうか？ UNIX上で実現できれば、Perlでもなんでも結構です。よろしくお願いします。
- ベストアンサー
- その他（プログラミング・開発）
- 文字コードの変換方法
お世話になります。 サーバ上で生成した、文字コードがEUCのテキストファイルをSJISに文字コードを変換したいのですが、nkfコマンドが使用できません。 nkfコマンドを使用せず、EUC⇒SJISへ文字コードを変換する方法をご教示頂けますでしょうか。 また文字コードを変更すれば改行コードの変更はしなくてもいいのでしょうか。 宜しくお願い致します。
- ベストアンサー
- Solaris系OS
- 文字コードの混在しているファイルの変換
webのログを取っているのですが， URLデコード -> nkf -s としています．しかし，URLデコードしたファイルは，google等はutf-8で他はs-jis等で，文字コード(s-jis, euc, utf-8)が混在しているファイルとなってしまいます． 最終的な出力ファイルをs-jisに統一したいと思っています．nkfで行おうとしたところ,どうもうまくいきません．-Xs オプションをつけるとutf-8の部分がちゃんと表示されません．-Wsオプションをつけると今度はs-jis，eucが出力されません． なにかうまい方法はありませんか？
- ベストアンサー
- その他(OS)
- 文字コード変換の件( nkf -w8 と iconv )
nkfでのオプション：w8に該当するiconvのパラメータをご存知のかたは教えていただきたいと思います。 nkf -w8での変換結果はファイル先頭3バイトにiconvでの変換結果と異なるコードが付いているようです。 iconvにて次のパラメータは試しましたが、いずれもファイル先頭3バイトが nkf -w8の結果とは異なっています。 UTF-8 UTF-16 UTF-16BE UTF-16LE UNICODE なお、versionなどは関係ないとは思いますがfedora-10-preview環境です。
- 締切済み
- Linux系OS
- PHPの文字コード変換について
PHPで mb_convert_encodingを用いて UTF-８で記述されたPHPスクリプトファイルの PHPファイル内の任意の文字列の文字コードを変換する場合、 $value = "文字列"; $str = mb_convert_encoding($value ,"UTF8","UTF8"); print $str; この場合、特に問題なく、変換がおこなわれます というか、意味のないで処理ではありますが。 次に $str = mb_convert_encoding($value,"EUC-JP","EUC-JP"); とした場合 うまく文字列の文字コードの変換がおこなわれず 出力内容は文字化けします。 次に $str = mb_convert_encoding($value,"SJIS","SJIS"); とした場合 EUC-JPと同じく文字コード変換に失敗し 文字化けするだろうとおもいましたが おもいのほかブラウザの文字コードUTF-8のままで文字化けしていないのです。 これはどういう現象でしょうか？ たとえば一つ目は UTF8で記述されたPHPファイルの文字列をそのままUTF-8として 変換されせるのですから、問題ないはずです。結果問題ありません。 二つ目は UTF-８でかかれたPHPファイルの文字列をEUC-JPでかかれたファイルとして EUC-JPという文字コードに変換しなさいという命令ですよね？ これは思う通りにいかなくて文字化けした文字列が出力されるのはわかるのですが 三つ目はUTF８で記述された文字列をSHIFT-JISとしてSHIFT-JISに変換しようとしているにも かかわらず、結果問題なくブラウザのUTF-8で文字列と表示されてしまいます。 これはいったいどういう事なのでしょうか？ これが仮に $str = mb_convert_encoding($value,"SJIS","UTF-8"); なら話は簡単んです。 UTF-8で記述されたファイルの任意の文字列を UTF8からSJISに変換しようとしているのですから問題なく SHIFT-JISでエンコーディングされた文字列が帰ってくるはずです。 こ乃原因をご存知のかたよろしくご教授ください。 お願い致します。
- ベストアンサー
- PHP
- Ruby 文字コード判別
NKF.guessで文字コードを判別し、そのコードがWindows-31J以外だったら エラーが出るようにしたいです Shift-JISの場合だと if(NKF.guess（str） == NKF::SJIS) この様に記述をして判別させています SJISの部分をCP932に変えて試してみましたが駄目でした 宜しくお願いします
- ベストアンサー
- Ruby
お礼
遅くなりましたが、ご回答有難うございました。参考になりました。