ExcelVBA CSV分割取込 巨大ファイル＋LF

質問

お世話になります。

ちょっと一服中のVBA経験豊富な方、どうかお助け下さい。
下記条件のマクロ作成についてご助言いただけると大変うれしいです。
よろしくお願いいたします。

--------------------------------------------------
【PC環境】
開発環境：日本、XP.ver2002、SP3、Excel2003
実行環境：海外、XP.ver5.1、SP3、Excel2002
（備考：実行環境と類似のPCを準備中・・）

【やりたいこと】
1)巨大なCSVデータをExcelへシート分割して取り込みたい。
　（巨大…行：最大45万行以下、列：8列固定、35M以下）
2)Access/ADOは使用しない
　（海外環境で利用目的のため、(参照設定等の)エラー発生による対応が難しいため）
3)CSVは、「"」つき、改行コードが「LF」です(TT)
　（CSVはユーザさんが特定システムよりダウンロードする。
　　CSV本体のコード変更はユーザさんの拒否反応が予想されるためできません・・）

--------------------------------------------------

質問の過去ログやいろんなサイトで調べていましたがそろそろ時間制限がせまってきました。
ネックは「巨大なCSV」＋「改行コードLF」です。
もちろんこちらで質問しつつ自分でも試行錯誤してみますが、
何か良い知恵、また参考ページ、コードなど、情報をお持ちの方、是非紹介いただけませんでしょうか。
（ついでに英語環境で動かすマクロ初体験なので注意点とかありましたらあわせてご紹介頂けるとすごくうれしいです）

類似ページがあった場合には本当に申し訳ありません、力不足で探しきれていません＞＜
お手数ですがしょうがねぇやつ～とURLなど張っていただけると大変助かります。

また近頃の不景気影響で残業規制されており、お礼は16日以降となる可能性が高いです。お許しくださいませ・・
ダメダメな感じですが、どうぞよろしくお願いいたします！

回答No.2

kenpon24

VBAは趣味程度のCプログラマですが、分割君は持って置いて損はなさそうなのでやっつけで作ってみました。
もはやExcelである必要のないコードになってしまいましたが。。

ファイルを分割します。分割するにあたってLFに当たればCRを付けます。
LFの前がCRだったらとか、同名のファイル名があることは考慮していません。
分割した後はマクロで読み込んでExcelに展開するなどご自由に。

英語環境では日本語の変数を使うとコンパイルエラーになります。
あと日本語のメッセージ(Msgbox "日本語"とか)は?????みたいなのが出ると思います。
日本語のコメントも文字化けします。

Option Base 0
Option Explicit

'分割行数
Private Const DivRowCnt As Long = 65000

Sub CallDiv()
'ファイル名を与える
Call DivFile("G:\mudai.txt")
End Sub

'ファイル分割、改行コード変換
Sub DivFile(Filename As String)

Dim rbuf() As Byte
Dim wbuf() As Byte
Dim RFNo As Integer
Dim WFNo As Integer
Dim Size As Long
Dim i As Long
Dim wPos As Long
Dim WFCnt As Integer
Dim LFCnt As Long

RFNo = FreeFile()
Size = FileLen(Filename)
ReDim rbuf(0 To Size - 1)

Open Filename For Binary Access Read As #RFNo
Get #RFNo, , rbuf
Close #RFNo

WFCnt = 1
LFCnt = 0
wPos = 0
WFNo = &H7FFF

For i = 0 To Size - 1

If WFNo = &H7FFF Then
WFNo = FreeFile()
'Filename.csvをFilename_div1.csvのように名前を付けてファイルを作成する
Open Replace(Filename, ".csv", "") & "_div" & WFCnt & ".csv" For Binary Access Write As #WFNo
WFCnt = WFCnt + 1
'改行コードの分だけ追加で確保する
ReDim wbuf(0 To Size - 1 + DivRowCnt)
End If

'LFだったらCRを付けて改行数をインクリメント
If rbuf(i) = 10 Then
wbuf(wPos) = 13
wPos = wPos + 1
LFCnt = LFCnt + 1
End If
'"を書き込みたくなければ条件を付ける　rbuf(i) = &H22だったら書き込まないとか
wbuf(wPos) = rbuf(i)
wPos = wPos + 1

'改行数が指定数に達したら書き込む
If LFCnt = DivRowCnt Then
ReDim Preserve wbuf(0 To wPos - 1)
Put #WFNo, , wbuf
Close #WFNo
'初期化
WFNo = &H7FFF
LFCnt = 0
wPos = 0
Erase wbuf
End If
Next i

'後始末
If WFNo <> &H7FFF Then
ReDim Preserve wbuf(0 To wPos - 1)
Put #WFNo, , wbuf
Close #WFNo
End If

Erase wbuf
Erase rbuf

End Sub

補足

回答ありがとうございます！！
（後日改めてお礼したいので補足欄にて失礼します）

>コード
poooon(　 Д )　゜　゜

こっこの発想はありませんでした・・！！！
このコードは、Accessが超苦手だけどデータ分析しなければならない沢山のお父さんたちを救うことができる奇跡のコードです・・！
今後私の所属部署の沢山のお父さんが救われることでしょう。
心より感謝いたします。
またこの質問のためにお時間割いていただきありがとうございました。
後ほど問題が解決しましたら改めてお礼に参ります。

それにしてもやはり巨大ファイルのExcel取り込みは無茶な課題なのかもしれませんね・・
Excelにとっては想定外のオーバーワークでしょうから・・
Excel、ごめんね・・

回答No.1

OKwebb

> VBA経験豊富な方
じゃないんで、アドバイスのみ。

FileSystemObject使ってOpenAsTextStreamメソッドで開いてReadで固定バイト数(ex.100K)で読み込み、カンマで区切って、vbLFで次行へ、行数65536で次シートへってのはどうかなぁ。
実行環境のスペック次第って感じになっちまいますが。

CSVの文字コードも気になりますが・・・。

補足

回答ありがとうございます！！
補足します。

4)CSVの文字コードは、SJISです。
5)スペックですが、メモリについては開発・実行環境ともに2GなのでOKかと！
　他のスペックはすぐには判りません・・すみません；

>固定バイト数(ex.100K)で読み込み
おおおなるほどお！コレなら何とか力技でできそうですね！！試してみます！
本当にありがとうございました～
また気付き点ありましたらご指摘お願いいたします！