CSVが文字コードUTF-8かどうかの判定

質問

かなりデータ量が多い（10万レコード超）CSVファイルが、100件近くあります。これをエクセルに取り込んで順次同じような作業をしようと思っています。とりあえずCSVを以下のコードで開いています。

Sub CSV入力4() 'クエリーテーブルを使ったCSV読み込みVBAコード
Dim myFile As Variant

myFile = Application.GetOpenFilename(FileFilter:="CSVファイル(*.csv),*.csv", Title:="CSVファイルの選択")
If myFile = False Then
Exit Sub
End If
ActiveSheet.Cells.Clear
With ActiveSheet.QueryTables.Add(Connection:="text;" & myFile, Destination:=Range("A1"))
' .TextFilePlatform = 932 'Shift_Jis
.TextFilePlatform = 65001 'UTF8
.TextFileCommaDelimiter = True
.Refresh BackgroundQuery:=False
.Delete
End With
MsgBox "読込完了"
End Sub

問題は、CSVに拡張子で区別できないUTF-8のCSVファイルがあることです。事前にわかっていれば
.TextFilePlatform = 932 'Shift_Jis
.TextFilePlatform = 65001 'UTF8
の使い分けで対応できるのですが、開いてみて文字化けがあるかどうか調べないとわかりません。自動的に判定する方法はないでしょうか？

回答No.6

kkkkkm

> BOM付きの場合はUTF8を判断して正しく表示されました。

以下のコードでtest()を実行したら
正しく判定してくれましたし
testBOM.csv は　BOM付UTF-8
test.csv 　は BOM無しUTF-8
testSjis.csv は　S-JIS

結果
testBOM.csv = 65001
test.csv = 65001
testSjis.csv = 932

添付画像は上がUTF-8下がBOM付UTF-8のバイナリエディタでの表示です。

CSV入力4()でも判定してくれました

それほど大きなファイルではありませんでしたがファイルの大きさが関係しているのでしょうか。

'****************************************************************************
' 機能名 : Module1.bas
' 機能説明 : 文字コード判定
' 備考 :
' 著作権 : Copyright(C) 2008 - 2009 のん All rights reserved
' ---------------------------------------------------------------------------
' 使用条件 : このサイトの内容を使用(流用/改変/転載/等全て)した成果物を不特定
' : 多数に公開/配布する場合は、このサイトを参考にした旨を記述してく
' : ださい。(例)WEBページやReadMeにリンクを貼ってください
' ---------------------------------------------------------------------------
'****************************************************************************
Private Const JUDGEFIX = 9999 '文字コード決定％
Private Const JUDGEFIX_BOM = 999999
Private Const JUDGESIZEMAX = 1000 '文字コード判定バイト数
Private Const SingleByteWeight = 1 '１バイト　文字コードの一致重み
Private Const Multi_ByteWeight = 2 '複数バイト文字コードの一致重み
Private Const S_JIS As Long = 932
Private Const UTF_8 As Long = 65001

Sub test()

Debug.Print "testBOM.csv = "; getCodePage("C:\Ok\test\testBOM.csv")
Debug.Print "test.csv = "; getCodePage("C:\Ok\test\test.csv")
Debug.Print "testSjis.csv = "; getCodePage("C:\Ok\test\testSjis.csv")

End Sub

Sub CSV入力4() 'クエリーテーブルを使ったCSV読み込みVBAコード
Dim myFile As Variant

myFile = Application.GetOpenFilename(FileFilter:="CSVファイル(*.csv),*.csv", Title:="CSVファイルの選択")
If myFile = False Then
Exit Sub
End If
ActiveSheet.Cells.Clear
With ActiveSheet.QueryTables.Add(Connection:="text;" & myFile, Destination:=Range("A1"))
' .TextFilePlatform = 932 'Shift_Jis
' .TextFilePlatform = 65001 'UTF8

.TextFilePlatform = getCodePage(CStr(myFile))

.TextFileCommaDelimiter = True
.Refresh BackgroundQuery:=False
.Delete
End With
MsgBox "読込完了"
End Sub

Public Function getCodePage(filePath As String) As Long
Dim obj As Object
Set obj = CreateObject("ADODB.Stream")

'まずは判定のためにバイナリモードで取得する
Dim bytCode() As Byte
With obj
.Open
.Type = 1
.LoadFromFile (filePath)
bytCode = .read
.Close
End With

'取得したバイト配列を使用して文字コードの判定を行う
getCodePage = JudgeCode(bytCode)

End Function
'----文字コード判定
' 関数名 : JudgeCode
' 返り値 : 判定結果文字コード名
' 引き数 : bytCode : 判定文字データ
' 機能説明 : 文字コードを判定する
' 備考 :
Public Function JudgeCode(ByRef bytCode() As Byte) As Long

JudgeCode = S_JIS

Dim lngSJIS As Long
Dim lngUTF8 As Long

lngSJIS = JudgeSJIS(bytCode, True)
If lngSJIS >= JUDGEFIX Then JudgeCode = S_JIS: Exit Function

lngUTF8 = JudgeUTF8(bytCode, True)
If lngUTF8 >= JUDGEFIX Then JudgeCode = UTF_8: Exit Function

If lngUTF8 >= lngSJIS Then
JudgeCode = UTF_8
Exit Function
End If

End Function
続く
コードは別々に回答します。

お礼

大変ありがとうございます。助かりました。

Powered by GRATICA