データベース作成(SQL)のためのデータ整理に関する質問

質問

よろしければお力添えをお願いいたします。

現在、大量のデータをデータベース化しようとしています。
扱うデータは

・種類：csvファイル（txtファイルにも出来ます）
・サイズ:400kb程度/ファイル
・ファイル数：１７万強

これをMySQLでデータベース化しようとしています。
ですが、その前に元のファイルのデータ整理が必要になっています。

具体的に必要な操作は

・空白セルの穴埋め（空白セルには一つ上の行のデータを入れる）
・行、列の削除、および挿入
・ヘッダーの挿入
・ファイル名変更

です。
あまりにもデータ数が膨大なので、何かしらのプログラミング言語を使ってデータ整理をしていきたいのですが、こういった場合はどのような言語が向いているのでしょうか。

私はVBAならある程度扱えるので、Visual Basicなら取り組みやすいのではと考えています（VBは触ったことないので完全に妄想ですが...）。
ですが、ファイル・データ操作に対する言語の向き不向きがわかりません。こういった場合はC言語やC++といった言語の方が処理速度は速いのでしょうか。教えてください。

また、csvファイルによるデータ処理が遅いのであれば、txtファイルに変更して処理することも出来ます。
その場合、行の削除、列の削除といったものはC言語で可能なのでしょうか。

長々と質問していまい申し訳ありません。よろしくお願いいたします。

回答No.1

hrm_mmm

文字列処理は、perlが結構早いですが、全くさわったことがないなら、perl文法を覚えるのがちょっと大変でしょう。
Cにしてもプログラム作成後コンパイルという作業が入るので、全く初めてなら、そこを覚えるのにまず手間取るかと。
最終的に「個々の変換速度が早い」かよりも、まず「すぐに少しでも取りかかれるか」を考えた方が結果的には、他のプログラムを覚える前に作業が終わってたりしそうな気もします。
VBAは、excel付属のものとかでしょうか？
excelでの作業に慣れていれば、
A.csvファイルをもう一つのシートに読み込んで、（ちょっと失念したけど、別ファイルに読み込む必要があるかもしれない、別ファイルのまま編集する方が楽かも）
B.読み込んだデータに必要な処理を行う
C.処理後の必要部分をcsvで付け替えたいファイル名で保存
D.　AとBで使用したシートを削除し（または、ファイルを閉じる）、次のcsvファイル読み込み
E. A～Dをループさせる
ではどうでしょうかね？
B部分が同じであれば、一連の処理を手動でやってみて、マクロ記録機能を使って、マクロに変換し、変数など使って整形して、さらに読み込みファイル指定部分を追加してループすれば、かなり楽ができるかとおもうけど。
B部分がかなり異なる場合(if分岐処理では複雑すぎる時)は、処理の異なるファイル毎にファイルを集めて、それぞれ処理プログラムを作ることになるかと。

他の言語を使うにしても、ファイル読み込み、データ編集、編集データ書き込みの順番は同じです。言語によって、読み書きに使うコマンド名や指定方法が違うとか、配列の扱いとか、各セルの情報に分解する（文字列のくくり記号やセル区切り記号のエスケープ処理）に結構手間がかかるとか、実行可能プログラムができるまでが大変です。

＞csvファイルによるデータ処理が遅いのであれば、txtファイルに変更して処理
csvファイル自体が、テキストファイルですので、拡張子をtxtに変えても何ら変わるところはありません。

お礼

詳細にお答え頂きありがとうございました。
VBAで取りかかった方が結局は早い気がしています。ですが、その後も大量の計算をこなす必要があるので、やはりC言語を勉強しようと思うに至りました。せっかく例示して頂いたのに申し訳ありません。
C言語でのアルゴリズムの参考にさせて頂きます。