文字化けを直したい

質問

以下のようなHTMLから対象サイトの本文を取得するプログラムを作成しました。

import java.net.*;
import java.io.*;
import java.util.regex.*;

public class GetBloghonbun {
public static void main(String args[]) {

String url = args[0];
boolean flag=false;

try {
String aLine;
byte buf[] = new byte[4096];
URL u = new URL(url);
DataInputStream di = new DataInputStream(u.openStream());
BufferedReader reader = new BufferedReader(new InputStreamReader(di));
while((aLine=reader.readLine())!=null) {

if(aLine.indexOf("<div class=\"main\">") >=0){
flag=true;
} else {
if(flag && aLine.indexOf("<div class=\"posted\">")>=0)
break;
}
if(flag==false)
continue;

Pattern pattern = Pattern.compile("<.+?>", Pattern.DOTALL);
Matcher matcher = pattern.matcher(aLine);
String string = matcher.replaceAll("");
System.out.println(string);

}
} catch(Exception e) {
System.out.println("例外" + e + "が発生しました");
}
}
}

このプログラムを次のサイト(ブログ)について実行しました。
http://blog.livedoor.jp/takapon_ceo/archives/50035965.html

しかし、実行結果として、文字化けした結果の出力となりました。

対象サイトがEUCなので、それをSjisに直せばよいのでしょうか？

実行結果が文字化けしないようにするには、
どのようにプログラムを組めばよいでしょうか？

よろしくお願いします。

回答No.1

BLUEPIXY · ベストアンサー

対象サイトがEUCとわかっているなら
安易な方法としては
BufferedReader reader = new BufferedReader(new InputStreamReader(di,"euc-jp"));
にするだけでいいですが

お礼

ご回答ありがとうございます。

問題を解決することができました。

回答No.2

ngsvx

HTMLの文字コードを自動で判断しようとするとちょっとばかり面倒です。

というのは、文字コードはHTMLの中に書いてあるからです。

また、JAVAで文字ストリームを開くときには、文字コードを指定する必要があります。

つまり、文字コードを取得するために一度空読みし、文字コードの判明後にもう一度読むというような作業になります。

整理すると、

１．InputStreamを読み込んでそのままメモリに蓄える。
２．ある程度の大きさになるようなら、一時ファイルに切り替える
３．蓄えたHTMLを読んで文字コードを判別する。
４．蓄えたHTMLからReaderを作って文字処理を行う。

といった手順になると思います。

面倒なら、文字ストリーム開くときに、文字コードの自動判断というのもありますが、完璧ではありません。

どっちを採用するかは、作る人の判断でしょう。

お礼

ご回答ありがとうございます。

今のところ、対象のサイトに対して自動で文字コードを判別させる処理は行わないつもりですが、
将来的にはそのようにしたいと思っております。

その際にとても参考になるアドバイスとなりました。

とても丁寧なご回答ありがとうございました。