• 締切済み

大量のファイルを高速にバックアップする方法

Windows Server 2008 R2であるグループウェアを動作させています。 このグループウェアのデータ部分をバックアップしようとすると 数KBのファイルが150万ファイル程あり, ROBOCOPYやFireFileCopy,標準のWSBなどを使っても15時間ぐらいかかります。 全体ではおよそ200万ファイルほどあり, 全容量100GB程度のファイルですので,データだけで見るとそれほどバックアップにはかからないように思えるのですが, なにかよい方法はあるのでしょうか。

みんなの回答

  • foomufoomu
  • ベストアンサー率36% (1018/2761)
回答No.2

間違っているかもしれませんが、 こういう小さいファイルのコピーはランダムアクセスと同じ条件になって、 http://www.pasonisan.com/customnavi/z1012hdd/08cry.html 1MB/s以下の速度しか出ません。1MB/sとしても100GBのコピーは 100000MB÷1MB/s=100000s=27.7h さらに、クラスタ単位で考えないといけないとすると、すべてのファイルサイズは4kBに切り上げて考えることになります。 15時間は普通の時間なのではないでしょうか。

voltick
質問者

お礼

No.1の方が回答しているとおり,オープン・読み取・クローズの連続で速度がでないことはよくわかったのですが, 仕組みと計算式をあてるとさらによくわかりました。 通常バックアップならばむしろ高速な部類にはいるということですね。

全文を見る
すると、全ての回答が全文表示されます。
回答No.1

ファイル数が多いとオープンクローズに時間がかかるので、パーティションごとイメージバックアップしてしまいましょう。 http://www.pc-master.jp/backup/image-b.html

全文を見る
すると、全ての回答が全文表示されます。

関連するQ&A

  • ファイルサーバーバックアップについて

    現在、ファイルサーバーのバックアップをNAS(TeraStation)にrobocopyでとっているのですが、大量のファイルを読み込むのに時間がかかりバックアップに1週間ほどかかってしまいます。 アーカイブ等した1ファイル大容量のファイルだったら通常ネットワーク使用量が2%くらいしか速度が出ないのですが1ファイル大容量のファイルでしたら15%ほど速度が出ます。 現在ファイルサーバーに1TB/300万ファイル程度格納されています。 しかしアーカイブするとファイルサーバーの容量が足りなくなってしまって(元々あるファイル+アーカイブファイル)困っています。 何かいい方法がありましたら教えてください。

  • 高速バックアップの方法について。

    文書ファイルサーバA(データ量:400GB)と文書ファイルサーバB(データ量:300GB)のデータをネットワーク経由(ギガ)にてNASサーバ(非RAID構成でホットプラグ対応のHDD(SATA))へ6時間以内にバックアップ(ntbackupソフト)を行うことは、可能と思われるでしょうか?または、6時間以内にバックアップが行える機器構成について、ご教授下さい。よろしくお願いします。

  • ファイルサーバのファイルを高速に複写したい

    ファイルサーバのファイルを高速に複写したいのですが、お勧めの方法はありませんか? Windows2000 サーバ 容量約200GB フォルダ多数 とりあえず、robocopyを使用する予定ですが、 もっと早い、コマンドやツールを紹介してください。

  • WinServer 2003で動く高速バックアップ

    運用中のWindows Server 2003で700GBのフォルダがあります。 そのフォルダをUSB接続の外付けHDDに丸ごとコピーしたいのです。 中身は、 画像が80% 動画が20% 1つのファイルは数KB~6MB以下です。 このようなとても細かいファイルで700GBある状態のフォルダを 高速にバックアップできる方法やソフトを探しています。 NTBackupなど、いくつか試しましたが、 ファイル数が多い為、バックアップをスタートさせても 「ファイル検索中」といった状態のまま3日経ってもコピーが始まりません。 このような状態に陥らない方法やソフトをご存じでしたら教えて下さい。 スケジュール機能とか多機能である必要はまったくありません。 とにかく、この700GBのフォルダを一刻も早く、別HDDにコピーしたいです。 HDDそのものの容量は1TBで、850GB消費しています。 700GBのフォルダ単体をコピーするよりも、HDD全体でコピーした方が早かったりするのでしょうか。 何卒、宜しくお願い致します。

  • サーバのバックアップでDVD

    WEB系グループウェア(さいぼうず)のサーバのバックアップを取るのですが、出来るだけ低コストで抑えたいという要望をお客様より頂いてます。       通常サーバであればDAT等のテープ+BACKUPEXEC等のソフトを組合わせますが、DVD等だとどうなのでしょうか? データ量は少ないので、現時点で容量は足ります。  しかし懸念されるのが (1)グループウェアのデータバックアップのみで、OSそのもの(レジストリ等)のバックアップが取れないのでは? (2)DVDやCD-R/W等はサーバーOS(今回はWINDOWS2000サーバ)をサポートし、接続できるのか? クライアントOSしかサポートしないのか? (3)サーバOSに接続する場合、何か条件は有るのか? (バックアップ用別ソフトが必要か?等です) を教えて頂けないでしょうか。 宜しくお願い致します。

  • 大量?のMP3データの簡単なバックアップ方法

    様々なプログラムがMP3データで22GB程あります。 自分のPC外でバックアップを残したいのですが 最も安価で手軽な方法をご教示いただきたいです。 手元のUSBでは容量オーバーでした。 CD―Rが余っているから使いたいのですが可能でしょうか。 アドバイスを宜しくお願い致します。

  • サーバのバックアップ方法

    ファイルサーバを構築します。バックアップ方法はいくつかあるかと思います。 2003もしくは2008サーバでデータ容量最大100GBと考えるとどのような手法がコスト・運用面での優位性がありますか?一般的なサーバにはDAT72がつけれますが、36GB程度しかバックアップできませんし、今どきテープ?って感じもします。テープがからまってしまう障害もよく聞きます。また、2008サーバの場合はARCServeを入れないとDATが使えないようですね。 DAT以外の方法(別のマシンやNASへネットワーク経由でバックアップ等)で良い方法があれば教えてください。

  • ファイル数が多くてコピー(バックアップ)できない

    バッファロー製のテラステーション(1TB)からWindows 2000 Serverへデータをネットワーク経由でバックアップしているのですが、1フォルダの下にあるファイル数が多くて(おそらく50万ファイルを越えていると思います。)コピーが出来ない状態です。 試したコマンドはxcopy、copy、robocopyです(「システム リソースが不足しているため、要求されたサービスを完了できません。」とエラーが表示されます。)その他にもフリーソフトのBunBackなども試しましたが、うまくいきませんでした。 Windows 2000 ServerのスペックはPentium 4 2.4GHz メモリは1GBです。 何か良いソフト、方法があればご教授頂ければ幸いです。

  • WindowsServerバックアップの仕組み

    お世話になります。 現在、社内サーバーのバックアップをWindows Serverバックアップ を使って行っております。 バックアップデータの保存先は外付けHDDです。 教えて頂きたいのは当該バックアップの仕組みについてです。 以前、メーカーに問い合わせて以下については確認致しました。  Q:勝手にフルバックアップされる。  A:初回バックアップはフルバックアップとなり、それ以降は増分に   なる。但し、14日経過すると再度フルバックアップ⇒増分となる。  Q:フルバックアップされて以降のバックアップデータ容量が    あまり変わらない。  A:増分バックアップ時の詳細な動作についての情報が無いため不明。    しかし、WindowsServerバックアップはVSS機能を使用し過去の    バックアップデータを管理している。    (VSSの動作からの推測となるが)ボリュームに対してVSSを実行すると    自動的にスナップショットが作成され、次回VSS実行時までに変更された    ファイルの差分データが、VSS記憶域に保存される。    差分データは10MBのファイルが変更された場合に、10MBが差分データ    として扱われるわけではなく、10MB中の変更された箇所が差分データ    として扱われる。    例えば「あいうえお」という中身のファイルがあり、「あいうえか」と変更    された場合には「お」が差分データとして扱われる。    よって、10MBのファイルが変更された場合でも実際に数KBしか変更    されてない場合がある。    上記VSSの動作から、WindowsServerバックアップにおいても    同様の処理を行うものと考えられ、バックアップ時には変更されたファイル    自体を増分データとしてバックアップ対処とされるが、採取的に    以前のバックアップデータから変更された箇所のみバックアップデータ    として保存される動作と考えられる。 後者の質問の回答について、いまいち理解できておりません。 確かに「修正された部分のみ」の数KBがバックアップされている為、 バックアップデータの容量としては、それほど変わらないということは 分かったのですが、実際にそのデータをリストアする場合、どのような 仕組みでリストアされるのでしょうか。 ご教示の程、宜しくお願い致します。    

  • ファイルサーバとバックアップの方法について

    仕事でファイルサーバを構築することになりました。 OSは、Windowsサーバ2008R2です。 ハードディスク容量は4TB(2TB×2本)です。 4TBの保存容量を確保したいのと、ハードディスク故障時のデータ全損を避けるため、RAIDは組まないでいこうと思います。 保存するデータの中身は、ワードやエクセル等のファイルやデジカメで撮った写真や動画が主になります。 ハードディスク容量の割り振りとして考えているのは、 システムと文書ファイルを1本(2TB)に保存。 写真や動画をもう1本(2TB)に保存。 バックアップ先のハードは、4TB(2TB×2本)のNASが2台あります。 このNASはちょっと困りもので、RAID必須(0か1)の仕様になっています。 具体的なバックアップ方法として考えているの方法は、次の2つです。 【方法1】 NAS2台ともRAID0(ストライピング)にする。 そして、1台(4TB)には全てのデータを1日毎更新でバックアップする。 もう1台(4TB)には、全てのデータを1週間毎更新でバックアップする。 なので、1日毎と1週間毎の2世代のバックアップがとれる。 これだと、もしウイルス感染やシステム不具合があったとしても、1週間前まで遡ってクリーンな状態に戻せるメリットがあるかなと思います。 【方法2】 NAS2台ともRAID1(ミラーリング)にする。 そして、1台(2TB)にはシステムと文書ファイルを1日毎にバックアップする。 もう1台(2TB)には、写真や動画を1日毎にバックアップする。 なので、それぞれのバックアップが2重にとれる。 これだと、もしNASのハードディスクに故障が起きたときに、バックアップのデータを失いにくいというメリットがあるかなと思います。 以上のことについて、客観的な意見やアドバイスを聞かせてもらえるとありがたいです。 もしくは、別に考えられるよい方法などもあれば教えてください。 私自身、サーバを構築するのが初めてで、職場内にも詳しい者がいないため、相談できずに困っています。 よろしくお願いします。