HDDの信頼性（データ化け）について

質問

ごくごく一般的（ヤマダ電機などで売っている）なデスクトップパソコンで、
10TB程度のデータを毎回バックアップするとどの程度の確率で壊れますか？

パソコンは正常でもこのようなことは起こるのでしょうか？
また、企業などデータが化けるのはまずいという環境の場合どのように対策をされているのでしょうか？

回答No.4

noname#214300 · ベストアンサー

＞HDDが気づかないエラーと言うことでしょうか？
そう考えておいた方が良いかと思います。
HDDが気がつくエラーは実はしょっちゅう出ていて、ECCやその他のエラー回復手段によって元に戻してホスト側へ送っています。そういった機能を通り越してきてしまうのが、先程のエラーかと。
（元に戻せないエラーはHDDからOSに通知があります）

なので人間にしかデータ化けは分かりませんから、多重バックアップが基本でしょう。

＞企業などどのように対策しているのでしょうかね？
私の勤めている会社では、一応世代バックアップ（１週間分）は取ってあるので、社内の共有ストレージのデータが壊れている場合、情報システム部門に問い合わせれば、残っている過去のデータを出してくれます。
後は、渋いですが磁気テープに書き出すのも結構良いソリューションです。
ソフトエラーは全然関係ありませんし、保管庫がしっかりしていれば50年くらいはデータは壊れないとか。

＞ハード面について（略）データ化けの対策も同時に行われているのでしょうか？
クラウド分散型ストレージの場合はデータが冗長化してあるので、一つくらいのサイトが吹き飛んでもデータを復元出来ます（普通のRAIDと同じです）。一般的なデータ化けはこの処理で復元されるので（ネット越しなのでデータ化けはより高頻度になります）、HDD一発でデータを保管するよりかは安全かと思われます。

その他、データの完全性を保つのに、掛けるコストによって様々なソリューションがあると思います。
安い方法としては、RAR圧縮で冗長化してしまう。ビット化けくらいでは完全に元に戻してしまいます。
普通の企業では、データが壊れた壊れていないの判断はユーザに任せるとして、データを多重でバックアップしておく（HDDのデータ化け対策）。
原発とかのミッションクリティカルなシステムの場合、システムまるごと多重化して、全ての計算結果の一致不一致をチェックして、データの一致を保証するなどの方法があります。

回答No.6

ts3m-ickw

データ化けは主にHDD側の問題です。
もちろんパソコン内部でデータ化けする可能性も0ではありませんが、
HDD記録時の書き込み不良発生率をスペックで表し、カタログにも載っています。

データ化けが問題になる場合、多くはRAIDを組むか定期的にバックアップを取ります。
同時に2つ以上のHDDに同じデータを書き込むRAID1（1TB×2=1TB）
パリティを利用してデータ化けを自動補正するRAID5（1TB×4=3TB）
RAID5のパリティ台数を2台にしたRAID6（1TB×5=3TB）
安全性と高速性を考えるとRAID10がいいですね（1TB×4=2TB）。

うちでは9TBのRAID5が2台、6TBのRAID5が1台稼働してます。
バックアップが取れる容量ではないので、リビルドできないほど壊れたら泣いて諦めます。

お礼

回答いただきありがとうございます。

今回の化けたデータを見ますと1000文字程度連続した状態でした。
HDDのデータシートを見ますと、10TBで1ビット未満化けるくらいですので、仮に、HDDのエラーであれば最大でも1バイト程度しか化けそうになく、1000文字は広範囲すぎるためHDDよりもメモリーやケーブルなど他に原因があるのではないかと疑っています。

そうしますと、RAIDでは防げない気がしていますがいかがでしょうかね？

また、今回RAIDは内部で膨大な計算をしますし、計算中に＃２さんの言うような放射線などでビットが反転したり間違いをする可能性など怖く思うわけです。ちなみに、当方はなるべくシンプルな設定にしたく、1日1-10回程度差分世代バックアップをする設定にしています。

回答No.5

kimamaoyaji

あの10ＴＢですよね、ごく一般的なＰＣで毎回10ＴＢ程度ってそんな軽々しく、バックアックするって、いったい何100ＴＢそれとも何ＰＢ（ペタバイト）のＨＤＤを使うのでしょう、そしてごく一般的なＰＣからはコントロールできない容量なんですが？スパコンかサーバーセンター規模の容量ですが。
データー化けなど起きませんよ、一般的にパリティビットを入れてチェックしているので、パリティが合わない時点で書き直しです、何度かリトライしてダメなセクターはパッチを当てて使えないようにして別の場所から書き始めます。
それでもまずいなら、１から読んだデータを２に書いて２の書いたデーターがメモリ上もしくは１と一致するか比較して、ＯＫなら次に行くと言う方法にすれば確実ですが、転送時間は倍になります。

お礼

回答いただきありがとうございます。

４TBの外付けHDDでバックアップしますのでバックアップそのものは翌朝には完了します。また、HDD3本で１２TBですのでそんなに大変な話でしょうか？
また、新しいHDDと古いHDDを交換するために、USB-HDDからUSB-HDDに移し替えることもままあります。なお、転送時間については寝ている間に完了しますので全く気にしていません。ただ、データが壊れるのは気分良くないですが・・・ちょっと調べてみると、Windows 7では採用が見送られたようですが、ZFSなど良いらしいです。

私も、天文学的な量を扱わない限りデータ化けは起きないと思っていたのですが、２ｃｈで話題になっており、また、＃２さんの言われるエラー率も考えるともしかしたらと思っていました。そこで、無駄に大量の動画データがありますのでハッシュをとって見たところ、いくつか壊れていました。そのため、HDD容量が10GBなどの時代なら気にならないかもしれませんが、その1000倍を扱う今日においては起きるのではないかと思っています。もしよろしければ、起きないというのはどういった根拠に基づいたものなのか、教えていただければ幸いです。

また、実際、データを比べてみたところ、とりあえず、１０TBの内、1ファイルほどハッシュが異なり（ファイルサイズや日付は同じ）、WinMergeで無理矢理開いてオリジナルと比較すると、1000文字分程度空白スペースに置き換わっていました。
１０TBのうち1ファイル程度が壊れるだけですし、パソコンの単純な故障と考えるには無理がある気がしています。

回答No.3

m_and_dmp

高い頻度ではありませんが、バックアップしたデータを読めなかった（ファイルが破損）ことはあります。どのくらいの確率で、といわれてもそのような目的で調査をしたことがないのでわかりません。
ご自分で調べるなら、CrystalDiskInfo など、ＨＤＤのS.M.A.R.T（Self-Monitoring Analysis and Reporting Technology）情報を分析するツールを使用して、大量のデータを転送した後、どのくらいのリードエラーが出ているか見ると多少の情報は得られると思います。
私の1600時間ほど使用した2TBのHDD（高頻度でデータバックアップをします。）のリードエラーレートは「ゼロ」と表示されています。

お礼

回答いただきありがとうございます。
CDIは使っていますが、こちらに表示されないエラーはどのくらいあるのでしょうかね？
不良セクタなどが発生して、ファイルが壊れる場合、読み出し時にデータが読めないとエラーが出ますのでこれは正常な事だと思っています。
問題は、データの一部壊れている場合でエラー無い場合、HDDを何世代にもわたってバックアップを繰り返すとデータが壊れていき、いざ使おうとすると使えない。また、世代交代でHDDを処分しており、オリジナルのデータはなく復旧もできないという感じです。
ちなみに、動画ですと一部にデータの欠損がありましても特に問題ありませんが、これがもし、データファイルなどであるとちょっと怖く感じています。金融や年金であれば情報が消えたり作成されるわけですしあり得ない事態になる気がしています。

回答No.2

noname#214300

＞10TB程度のデータを毎回バックアップするとどの程度の確率で壊れますか？
データ化けの頻度はHDDのスペックシートに書いてあります。
私のお気に入りのDT01ACA300の場合、エラーレートは10の14乗bitとありますので、12.5TB読み書きしたら1ビットほどデータ化けが出るのかも知れません。

なお、上記はHDDのみに起因したエラーレートであって、チップセットやメモリに起因するエラーを考えた場合、より頻度が高くなるでしょう。（具体的な数値は分かりません。最近のソフトエラーについての論文などを参照して頂ければと）

↓SRAMの記事ですがご参考
http://pc.watch.impress.co.jp/docs/news/event/20120427_529947.html

＞パソコンは正常でもこのようなことは起こるのでしょうか？
起こりえます。

＞また、企業などデータが化けるのはまずいという環境の場合どのように対策をされているのでしょうか？
（少しは）ソフトエラーに強いECC等を積んだサーバ機を使い、RAIDで多重化したり、世代バックアップとフルバックアップを併用してデータが複数ある状態にするのが良くあるパターンかと思います。
最近はクラウドでデータを各国に分散させるのも流行かも知れません。

お礼

回答いただきありがとうございます。

12.5TBで1ビット化けるとのことですが、これは、HDDが気づかないエラーと言うことでしょうか？それとも、単純に、データが壊れるので、OSは気づき、そのときバックアップから戻せば良いだけの話でしょうか？

また、HDD以外にもデータが化けるリスクはあるのですね。データの壊れ方を見ると1000文字分程度壊れていました（バイナリを無理矢理文字にして比較した）ので、HDDではなくメモリーなど他の要因だという気がしてきました。ただ、そうであれば、企業などどのように対策しているのでしょうかね？

例えば、高価な経費をかけて作成したソフトウェアやCAD、顧客情報などどうしているのか気になるところです。

ハード面について、ECCは分かるのですが、RAIDやバックアップの場合、毎回過去のデータのハッシュ値を測定しているわけではないと思いますし、クラウド分散した場合もデータが亡くならないことが基本にあり、データ化けの対策も同時に行われているのでしょうか？

回答No.1

greias

10TB程度のデータをバックアップって・・・
それほどのサイズのデータを頻繁にバックアップするような状況にありそうなのでしょうか？

基本的にバックアップ時にデータが壊れるような可能性よりはHDDそのもののハード的な破損の方が可能性は高いと思います。
結局のところ諸々の要因を考慮すれば、バックアップの機会が多くなればその分破損の可能性も高くなるとしか言い様がありません。どちらかといえば10TBが本当にバックアップ対象として存在するのならば、それを一括でバックアップして全部が駄目になるようなリスクを負うよりは、１～数TB程度に分割してデータが全滅するリスクを軽減する方が得策なのでは？

バックアップデータはともかく、実データの保管についてもRAID組んで対策したとしてもRAIDコントローラのハード的破損でHDDそのものは無事でもデータの読み書きができなくなるというリスクはついて回りますからね。

つまるところ大量のデータを保管するのなら、一括保存するのではなく分散してリスクを軽減すべき、これはプライベートでも企業でも同じことです。

お礼

回答いただきありがとうございます。
例えば、1日一回システムのフルバックアップを行う人など、すぐにTBに達すると思います。
また、私の場合、昔から、ビデオテープなどでどんどんとりためるタイプなのですが、動画データですと簡単にTBになります。また、HDDはプレスDVDと比べ、早く劣化するイメージがあり、時々データの移し替えをしています。ま、正直動画データは壊れても良いのですが（動画なら壊れてもみられるため）、写真や仕事で使う本当に壊れると困るデータがあるのですが、試しにハッシュデータをとって比較してみたところ、バックアップを頻繁に行うことで壊れる可能性が出てきて怖く思っています。そこで、実際のところどのようなものかと思い質問させていただいているという々降ります。
なお、HDDを大量に分けるのは面倒ですね。以前、DVD100枚に分けている人もいましたが個人的には保守管理などの点から現実的ではないと思っています。個人的には、同じデータを書き込んだHDDを複数持つ方がより現実的かと思っています。
RAIDについては正直信用しておらず、1日程度パソコンが止まっても構いませんので、ソフトウェアで同じデータを時間差でバックアップするような感じにしています。