Null文字が含まれるCSV(UTF-8)の読込

質問

いつも参考にさせてもらっています。
よろしくお願いします。

受領したCSVファイルを1行ずつ取込み、加工して出力したいと思っています。
ファイル形式がUTF-8のため、ADODB.Streamを使って下記のように組みました。

--------------------------------------------------------------------------------
Sub testReadUTF8()

Dim adoStIn As Object
Dim varWork As Variant

On Error GoTo ErrLBL:

'読込用
Set adoStIn = CreateObject("ADODB.Stream")
adoStIn.Charset = "UTF-8"　　　　　　　　　　'Streamで扱う文字コードをutf-8に
adoStIn.Open 　　　　　　　　　　　　　　　　'StreamをOPEN

adoStIn.LoadFromFile ("D:\test.csv") 　　　　'ファイルからStriamにデータを読み込む

Do Until adoStIn.EOS 　　　　　　　　　　　　'Streamの末尾まで繰り返す
varWork = adoStIn.readText(adReadLine) 　'Streamから１行ずつ取込
'//処理～～～～～～

Loop

ExitLBL:
Exit Sub

ErrLBL:
'エラー
MsgBox Err.Description & vbCrLf & "（エラーコード　" & Err.Number & "）", vbCritical

End Sub
--------------------------------------------------------------------------------
その際、　readText(adReadLine) 　で取り出そうとしている行にNull文字(文字コード:00)が含まれる場合、
処理が固まってしまい、また、ErrLBLにも飛びませんでした。
読み込むCSVをテキストエディタでNull文字を除去したファイルは、正常に読込みができます。
ただし、Null文字の除去もVBAで同時に行いたく、
Replace関数でNull文字を除去すればよいかと、
・varWork = Replace(adoStIn.readText(adReadLine), vbNullChar, "")
・varWork = Replace(adoStIn.readText(adReadLine), vbNullString, "")
・varWork = Replace(adoStIn.readText(adReadLine), Chr(0), "")
・varWork = Replace(adoStIn.readText(adReadLine), Chr$(0), "")
と行ってみましたが、いずれも上記の部分で固まってしまいます。

何かしら、処理する方法はありませんでしょうか？

回答No.7

ballville

ダメなCSVを次のpowershell　ワンライナーで下処理してみては
get-content ./bad.csv|%{$_ -replace "`0",""}|out-file ./repaired.csv

回答No.6

notnot

＞バイナリモードにして、どのように扱えばよいのか、教えていただけますでしょうか？

バイナリモードはバイナリデータなので行という概念が無いです。

テストしてませんが、バイナリモードで1バイトずつ読んで、vbNullcharと等しければスキップ、そうでなければバイナリモードで書くということでいいかと思います。

回答No.5

noname#232800

固定長の場合で、８ビット文字を扱える命令って

peek、poke。Read、Writeでしたっけ。Unsigned Char　型。

可変長では７ビット。
scanf、printf。Char　型

今回のはReadTextではダメ

回答No.4

bardfish

まず、基礎的なことになりますがCSVってテキストベースでしょ？

テキストファイルではNullはEOFとしてファイルの終端を表します。

テキストベースのCSVファイルでデータとしてNullを使用するのはご法度です。

それでも、そういうCSVファイルを扱う必要があるというのならば事前に加工しておきましょう。

お礼

bardfish様、ご回答ありがとうございます。

>テキストベースのCSVファイルでデータとしてNullを使用するのはご法度です。
そうなのです、こちらも想定外でした。
なので、加工もVBAでできないかなー、と思っておりました。

回答No.3

notnot

一度バイナリーモードで読んで、NUL文字を削除し、バイナリーモードで上書きして、それから改めてテキストモードで読んではどうでしょうか。

お礼

notnot様、ご回答ありがとうございます。

adodb.stream、バイナリーモードで処理できるのですね！
調査不足ですみませんでした。。。
試してみます！

補足

notnot様、すみません。。教えてください。

バイナリモードで１行読み取り、変数（string型かvariant型）に格納し、2桁ずつ読んでいって"00"だったら除去、と思っていましたが、誤りでした。

「バイナリモードで処理できる！」と喜びましたが、そもそも「バイナリモードで処理する」ということが分かっていませんでした。

------------------------------
'読込用
Set adoStIn = CreateObject("ADODB.Stream")
adoStIn.Charset = "UTF-8" 'Streamで扱う文字コードをutf-8に設定
adoStIn.Type = adTypeBinary 'Stream内のデータ型
adoStIn.Open 'StreamをOPEN

adoStIn.LoadFromFile ("D:\test.csv") 'ファイルからStriamにデータを読み込む
adoStIn.Position = 0
varWork = adoStIn.Read()
’//ここで、null文字(コード：00)なら除去する
adoStIn.Close
------------------------------
としてvarworkに読み込んでみました。
想定では、varworkには、utf-8、BOMありなので、
CSVファイルの中身が
------------------------------
12△45
ABCDE
------------------------------
だとすると、（△の部分が、null文字とする）
------------------------------
EFBBBF31320034350D0A41424344450D0A
------------------------------
と入ってくるのだと思い、"00"を処理すればよいと思っていたのですが、イミディエイトウィンドウで確認すると
------------------------------
??2?????
------------------------------
と表示され、想定していた処理ではできないと分かりました。
バイナリモードにして、どのように扱えばよいのか、教えていただけますでしょうか？

回答No.2

HohoPapa

Chr(0)がファイルの途中に登場することを
エクセルもVBA（諸々のメソッド）も想定していないだろうと思います。

思いつきですが、
1文字ずつ取り出して評価し
Chr(0)を捨てる処理ならできそうです。
それが、次行以下のコードです。

Sub DelChr_0()

　Dim adoStIn As Object
　Dim varWork As String
　Dim wkMoji As String

　Set adoStIn = CreateObject("ADODB.Stream")
　adoStIn.Charset = "UTF-8"
　adoStIn.Open
　adoStIn.LoadFromFile ("D:\test.csv")
　varWork = ""

　Do Until adoStIn.EOS
　　wkMoji = adoStIn.readText(1)
　　If wkMoji <> Chr(0) Then
　　　varWork = varWork & wkMoji
　　End If
　Loop

　MsgBox (varWork)

　'以下、必要ならvbCrLfでレコード分解

End Sub

お礼

HohoPapa様、ご回答ありがとうございます。

なるほど、一文字ずつですね！
ファイルサイズが大きく、なるべくなら一括変換したかったのですが、
一文字ずつも検討してみます！

回答No.1

noname#232800

ヌル文字はテキストではなく、むしろＥＯＦに相当すると思う。

CSVって事は、可変長でしょ？
固定長なら読み書きできると思う。

お礼

gobou_poo様、ご回答ありがとうございます。

バイナリエディタで確認したところ、1行の中に数文字Nullが入っていました。。。