ＨＴＭＬ文書の文字コードの判定法

質問

ＨＴＭＬ文書の文字コードの判定法

Ｃ＃のWebClientクラスを使って文字コード不明のＨＴＭＬ文書をダウンロードしています
取り敢えずシフトJISと仮定して読込んでおりますが、文書中にEUC指定があった場合には改めてサイトよりEUCエンコード指定で再読込みしています

概略は次の通りです

WebClient MyClient = new WebClient();
System.IO.Stream MyStream = MyClient.OpenRead("http://*****・・);

System.IO.StreamReader MyReader =
new System.IO.StreamReader(MyStream, System.Text.Encoding.GetEncoding("Shift_JIS"));
ReadString = MyReader.ReadToEnd();

MyReader.Close();
MyStream.Close();

System.Text.RegularExpressions.Regex r = new System.Text.RegularExpressions.Regex(
@"charset\s*=\s*euc-jp",
System.Text.RegularExpressions.RegexOptions.IgnoreCase);

if (r.IsMatch(ReadString))
{
MyStream = MyClient.OpenRead("http://*****・・);　←以降２度読み

MyReader = new System.IO.StreamReader(MyStream, System.Text.Encoding.GetEncoding("EUC-JP"));
ReadString = MyReader.ReadToEnd();

MyReader.Close();
MyStream.Close();
}

２度読みというミットモナイ形になっているのは
バッファに読込んだデータから文字コードを判定して各々適切にエンコードする方法が分らないからです
色々とトライしてみましたがＮＧでした

この２度読みいう面目丸潰れ、無知蒙昧、天下の愚作を避ける簡単な手法を教えて頂けるよう恥を忍んでお願い申し上げます

回答No.1

nfonfonfo · ベストアンサー

１、WebClientを使用する前提ならば、MemoryStreamに内容を書き出してそこから文字判定する方法で可能かと。
※）注意点として
　MemoryStreamを読み終えた後、次のStreamReaderで読めるようにSeekで先頭位置に設定する必要があります。

２、Webサーバーから帰ってくるhttpヘッダ(Content-Type)でも文字コードの判別は可能です。
　　ContentType = MyClient.ResponseHeaders[System.Net.HttpResponseHeader.ContentType];

//以下ソース
using System.IO;
using System.Text.RegularExpressions;
using System.Net;

const string Address = @"http://oshiete.goo.ne.jp/";
string ContentType = string.Empty;
string ReadString = string.Empty;
using (MemoryStream mem = GetMemoryStream(Address, out ContentType))
{
//Postionを先頭にする。
mem.Seek(0, SeekOrigin.Begin);
StreamReader MyReader = new StreamReader(mem, System.Text.Encoding.GetEncoding("Shift_JIS"));
ReadString = MyReader.ReadToEnd();
Regex r = new Regex(@"charset\s*=\s*euc-jp", RegexOptions.IgnoreCase);
if (r.IsMatch(ReadString))
{
//Postionを先頭にする。
mem.Seek(0, SeekOrigin.Begin);
MyReader = new StreamReader(mem, System.Text.Encoding.GetEncoding("EUC-JP"));
ReadString = MyReader.ReadToEnd();
}
}
public MemoryStream GetMemoryStream(string Address, out string ContentType)
{
MemoryStream mem = new MemoryStream();
using (WebClient MyClient = new WebClient())
{
using (Stream MyStream = MyClient.OpenRead(Address))
{
// HTTPヘッダのContentTypeを取得する。
ContentType = MyClient.ResponseHeaders[HttpResponseHeader.ContentType];
byte[] buffer = new byte[4096];
while (true)
{
int read = MyStream.Read(buffer, 0, buffer.Length);
if (read <= 0)
{
break;
}
mem.Write(buffer, 0, read);
}
}
}
return mem;
}

お礼

お教え、ありがとうございました

早速Memory Streamを使用した方法に改良しました
結果は良好です

助かりました、ありがとう！！！