一般的なプログラムの作り方

質問

こんにちは。

あるプログラムをVC++にて作成しようとしています。
このプログラムは、入力ファイルからテキストを読み込み、編集してから、出力ファイルを生成するというものです。出力ファイルは新規の場合と、上書きの場合があります。

そこで質問なのですが、プログラムの作り方として、以下のパターンが考えられるのですが、どちらが一般的なのでしょうか。

【パターン１】
入力ファイルからのテキスト読み込み、編集及び出力ファイルの生成を同時に行う。
・長所として考えられる点
メモリ内で持つデータが一時的な領域なため、構造がシンプルでメモリ使用量も少ない。
・短所として考えられる点
処理の開始から終了まで、出力ファイルを開いたままにするため、他から出力ファイルを編集できない時間が長くなる。

【パターン２】
入力ファイルからのテキスト読み込み、編集が全て完了してから、一括で出力ファイルへ書込む。
・長所として考えられる点
出力ファイルへアクセスする時間が短くてすむ。
・短所として考えられる点
メモリ内で全て編集するため、メモリ使用量が増大かつ構造が複雑になる。

以上です。アドバイスなどありましたら、よろしくお願いいたします。

【環境】
Windows XP Professional
入力ファイルのデータ量：10MB程度
出力ファイルのデータ量：1MB程度

回答No.3

BLUEPIXY · ベストアンサー

全部読み込みしないと、編集できないという処理でもないみたいだし、１でいいんじゃないですかね。
＞処理の開始から終了まで、出力ファイルを開いたままにするため、他から出力ファイルを編集できない時間が長くなる。
については、読み込みを開始した時点で、ファイルの更新が始まったということですから、逆に、出力ファイルを編集させるような処理を受け付けたらだめだと思います。
ファイルの出力時間については、実測してみて、耐えられないようなら、パターン２で考えてみるといいと思います。昨今のマシンで１０ＭＢ程度のメモリ使用が問題ないなら、特に問題ないと思います。パターン１で構造が簡単でメモリ上にファイルを展開すると構造が複雑ということもないような気がします。逆に、実行時の環境で作業メモリが確保できないようなら、パターン２は選択できないことになりますね。
結局何を重視するかで違ってくるかと思いますが。

お礼

ご回答ありがとうございます。

＞逆に、出力ファイルを編集させるような処理を受け付けたらだめだと思います。
この点に気づきませんでした。パターン２の場合は、出力する時だけ、排他制御すればよいかと思ってましたが、基本的にはアプリケーションが動作する前提として排他処理を取っておく必要があるのですね。

どうもありがとうございました。

回答No.4

mth-mmk

一般的にはパターン１です。今はテキストファイルの量に比べて、メモリが多いので余り気にしなくても良いのですが、元々は少ないメモリでやりくりすることが多かったので、パターン１のやり方が普通になってます。

仮に全部読み込まないと処理が行えない場合でも中間ファイルを介したり、メモリマップドファイルにすると言う方法があります。

シーケンシャルでアクセスする場合はI/Oの速度にも依存しますがある一定以上のメモリバッファを持っても速度は余り変わりません。つまりファイルサイズ分のバッファを持っても速度上のメリットはあまり無いと考えられます。また一度に大きなファイルを読み込むと（OSのメモリスワップなどが発生し）逆に遅くなるケースがあります。

お礼

ご回答ありがとうございます。

＞一度に大きなファイルを読み込むと（OSのメモリスワップなどが発生し）逆に遅くなるケースがあります。
なるほど～とりあえずはパターン１で試してみたいと思います。

どうもありがとうございました。

回答No.2

liar_adan

もとのファイルの内容、編集の内容、出力ファイルの内容によって違うので、
どっちとも言えないですねえ。

たとえば、テキスト加工ツールとして使われている多くのものは１の方法です。
ただし、対話的編集をするエディタなどは２の方法になります。

他から出力ファイルを編集することの頻度にもよります。
もしかするとCGIかなんかを作っているのでしょうか。
あと、編集がどの程度複雑なものかでも違います。
そのプログラムを動かす頻度なども。

個人的には、まず１の方式を考えます。
編集内容が単純(たとえば、あるタグの行だけ抜き出すなど)
なら１で良いのではないでしょうか。
複雑な場合はいろいろ考えて(場合によっては時間を計測して)決めることになります。

お礼

ご回答ありがとうございます。

なるほど、一般的にはパターン１の方法なのですね。

＞もしかするとCGIかなんかを作っているのでしょうか。
VC++を使ってWindows上で動作するアプリケーションを作成しています。出力ファイルを更新する頻度は少ないと思いますので、パターン１で作ってみようかと思います。
ありがとうございました。

回答No.1

Tacosan

パターン1 でいいんじゃないかなぁ?

ど～せプログラムが動いている間は出力ファイルを書換えられないんだし.

お礼

ご回答ありがとうございます。

シンプルですが的を得たご回答
とても参考になりました。

ありがとうございます。