NTFS圧縮フォルダへの格納と取り出し

質問

度々お世話になっております。
以下、数点確認させてください。

あるプロジェクトで以下のようなバックアップ運用を行っています。
(1)日次夜間処理で当日分のデータを過去日付フォルダ(1か月保管)に退避
(2)月次で過去日付フォルダの内容を全件テープドライブにバックアップ

ところが、データの増加に伴い過去日付フォルダの容量が増加し、
ドライブを圧迫してきたため、上記フォルダをNTFS圧縮属性にして
空き容量を確保しようと考えています。

そこで質問なのですが、(1)(日次)は1日分だから圧縮に多少時間が
かかっても問題ないのですが、(2)(月次)はLTOに落とす際に自動的に
展開されて、単純計算圧縮の約30倍の展開処理時間がかかるもの
なのでしょうか？

もしくはLTOのコピーしているだけだから展開処理は行われない！？

以上、よろしくお願いします。

回答No.3

Toshi0230 · ベストアンサー

No.1です。
ご指摘ありました以下の点ですが…
> ディスク書込みよりディスク読出しの方が速い，ということじゃないでしょうか？

違います。経験上、圧縮のほうが展開よりも時間がかかります。そもそも、ディスクI/Oの話だと圧縮時のほうが書き込みデータ量が少なくなる分、速くなるはずですから、私の主張と矛盾しちゃいます（＾＾）。
それに、展開時のアルゴリズムは、簡単にいえば圧縮時のアルゴリズムの
逆をたどるわけですが、これは圧縮と展開の処理速度が等しいことを意味しません。たとえが少し変ですが、a x b を計算して c を算出するのと、c を因数分解してaとbを割り出すのとでは計算量が違うことを考えれば少しは納得いただけるかと思います。

もちろん、アルゴリズムによっても異なるでしょうが、「圧縮のほうが早い」という圧縮ツールは見たことがありません。

ただ、個人的な主観だけだと根拠が弱いので、具体的な数字データを探してみました。
NTFSの圧縮アルゴリズムでは見つかりませんでしたが、"LZMA"という類似（らしい）のアルゴリズムの処理速度です。
・圧縮速度: 2GHz CPUで約1MB/秒
・伸長速度: 2GHz CPUで10-20MB/秒
（出典：http://ja.wikipedia.org/wiki/LZMA）

あと、おまけでNTFSのパフォーマンス劣化について記述したMicrosoftのドキュメントを見つけました。具体的な数字データは載っていないものの、
> However, you may not experience significant performance
> degradation with read-only, read-mostly, or lightly loaded
> servers.
(http://support.microsoft.com/?scid=kb%3Ben-us%3B251186&x=11&y=6)

とあるので、読み出し時のパフォーマンス低下はそれほど気にしなくてよいと思います（最近のサーバを使っているのであれば特に）。

あと、最後ですが
> 一般的にはLTOへの書き込みがボトルネックになる場合が多いのではないでしょうか。

これは逆じゃないでしょうか？ たぶん、ディスク読み出し速度のほうがボトルネックになります。
通常、テープドライブはバックアップ時に圧縮をかけますので、テープ書き込み時の容量は（経験上）非圧縮時の1.2～1.5倍くらいの容量になります（圧縮率はデータに依存します）。テープ書き込み時の速度は“データ圧縮後の速度”ですから、LTO-1でもHDDのデータ読み出し速度は25～30MB/s位ないと間に合わない計算になります。Seagateの15000rpm SCSI HDDの読み出し速度が49～75MB/s だそうですから、このディスクの場合LTO-1だと読み出しが間に合いますが、LTO-2や3だと逆に速度が足らなくなる（実際にはOSの処理などのオーバーヘッドが入るため）計算になります。

回答No.4

Toshi0230

追記：
HDDがRAID-5だと、RAIDコントローラの出来が速度を決めるらしいんで、質問者さんの環境でどちらが早いかはわかりません。
が、個人的にはトントンかLTO-2のほうがちょっと早いんじゃないかと想像します。

# シーケンシャルアクセスに関しては、DLTやLTOのアクセス速度は侮れません。
## ランダムアクセスはダメダメだけど（笑）

回答No.2

jjon-com

展開処理はおこなわれます。そもそも LTOメディアはNTFSではないですから，NTFS圧縮状態のままデータを格納できないです。
１日分のデータの圧縮にかかる時間をｃとする，月次には１日～30日のデータを展開しながら読み出すので30×ｃの時間がかかるのか，というご質問ですよね。その通りだと思います。
（「圧縮処理よりも展開処理のほうが早い」というご意見がありましたが，ディスク書込みよりディスク読出しの方が速い，ということじゃないでしょうか？）

ただ。
お使いのCPUの演算能力（圧縮＆伸張），お使いのHDDの読出速度，お使いのLTOの書込速度がどれほどのものか分かりませんけれど，一般的にはLTOへの書き込みがボトルネックになる場合が多いのではないでしょうか。
http://ja.wikipedia.org/wiki/Linear_Tape-Open
http://okwave.jp/qa3207652.html

PC仕様や対象データによっても異なるのでしょうが，NTFS圧縮による速度低下は20％増程度だと噂に聞いたことがあります（自分では調べていません）。この程度の処理時間増であるなら，LTOへの書込時間の方がまだ長いような気もします。
やはり質問者の実際の環境で計測してみるのがよいでしょう。

お礼

早々のご回答ありがとうございます。

内臓HDDが15000r/min×3(RAID5)で、LTOデバイスがLTO-2(速度40MB/S)
であることを考えると、圧倒的にHDDの方が早いので展開による速度低下を
考えてもLTOの方が圧倒的に遅いっぽいですね。

ありがとうございました！

回答No.1

Toshi0230

データを読み出して別デバイス（この場合LTO）に書き込む際に展開処理は行われます。が、通常、圧縮処理よりも展開処理のほうが早いで圧縮時の30倍かかるということはないと思います。

圧縮されている分ディスク読み出し時間も短くて済むので、感覚的には少し遅いくらいか、下手をするとあまり変わらないのではないかと想像しますが。

お礼

早々の回答ありがとうございます。

＞圧縮されている分ディスク読み出し時間も短くて済むので

なるほど、確かにそうですね！
別機で試したところ、データ自体はテキストデータで
圧縮率は高い(４０～５０％)ので、読み出し時間の短縮を
考えると、Ｎｏ２様がおっしゃる２０％の性能劣化は
補えるかも知れませんね。単純な計算なので実際は分かりませんが。