PHP： CSVファイル扱いについて

質問

現在PHPであるデータを作成し、毎日CSVファイルに追記するPHPプログラムを作成しています。

/data/[ID]/2013.csv　のような構成でファイルを作成し追記しています（1年で1ファイル）
しかし、データ量が多く、ものによっては1年で50万行の量になってしまいます。
サイズでいうと50MBほどです。

ここで考えた案が2つあります。
(1)月ごとにファイルを作る
（/data/[ID]/2013-03.csv　のように月ごとにファイルを作成する方法）
メリット：　簡単、分かりやすい
デメリット：　無駄にファイルが増える

(2)サイズが上限（20MBとか？）を超えたらファイルを作成する。
メリット：　無駄にファイルができない、スマート？
デメリット：　ちょっと複雑なプログラムになる。

素人目からはどちらでもよさそうなのですが、、
どちらが良いのでしょう？？
また、違った画期的なアーカイブ方法はありませんでしょうか？
また、どのくらいのCSVファイルサイズまでなら処理できるのでしょうか？

お詳しい方、ご教示下さい。
お願い致します。

回答No.3

t_ohta · ベストアンサー

＞　10,000案件以上あり、1案件当たり1年で30MB(30万行分)のデータをDBで管理できますか？？

データベースは大量のデータを効率的に管理するためのモノです。
データ量が多くなればなるほどテキストファイルよりデータベースの方が効率的です。

お礼

ご回答いただき有難う御座います。

DBで挑戦したいと思います！

回答No.2

agunuz

「あとでどうやって処理するのか」による。

>1年で50万行の量

この量をまとめて処理しないといけないのなら、データベースを使うべき。

そうでなければ年月ごとのファイルでも年月日ごとのファイルでもいい。年月日ごとで10年分でも3650にしかならないのだからファイル名をglobで拾い集めても瞬時に終わる（当然ある程度のファイルをまとめて処理するとopen/closeの回数は増えるが）。

お礼

ご回答いただき有難う御座います。

なるほど、DBを使うべきなのですね。
インデックスを使って抽出するようにすれば問題ないものでしょうか？
また、大量のデータをDB（MySQL）で管理する際に気をつける点などありますでしょうか？

1年分で　
10,000案件　×　30MB　と想定するとして。。

回答No.1

kmee

データベースの活用を検討してもいいレベルではないかと。

お礼

10,000案件以上あり、1案件当たり1年で30MB(30万行分)のデータをDBで管理できますか？？
なぜか、そういうデータはファイルで管理する認識でいましたが。。
普通にMySQLで管理できるものなのでしょうか？？
実例など有りましたら、詳しくご教示頂きたいです。
お願い致します。