大量のファイルを日次でバックアップ取るがどんな問題が発生するか分からなかったので調べた

概要

サーバに配置された大量のファイルを日次でバックアップしたいが、問題が起きそうなところを潰したかったので調べた。

やりたいバックアップ

毎日大量のファイルをバックアップしたい。置き場所は決まっていない。

バックアップしてて問題になりそうなこと

  1. バックアップに時間がかかり、元ファイルのコピー時等バックアップ中はサーバのリソースが使われること。
  2. バックアップに時間がかかり、夜間の業務時間外にバックアップを開始しても時間がかかりすぎて業務開始後まで終わらないこと。
  3. バックアップ中にファイルが使用された場合(ロックされた場合)、バックアップ漏れが発生する可能性があること。
  4. バックアップ対象ファイルが多い場合、バックアップ先の容量を圧迫すること。
  5. バックアップログの監視が必要になり、運用の手間が増えること。

バックアップに関するtips

  • 夜間の業務時間外にバックアップを行うことで、同サーバで稼働する他のサービスのリソースを考慮しなくてよくなる。(なお、夜間に稼働している場合は異なる)
  • なるべくzipにしたほうがバックアップの効率がよい。

検討可能なバックアップ手段

  • ファイルコピー

問題になりそうなことへの対策

  1. システムが使われる時間帯を避ければ問題ない。
  2. 事前に検証をして、このくらいのデータ両のバックアップならこのくらいの時間がかかるということを把握しておけば被害は避けられる。
  3. バックアップログの監視により、バックアップ漏れは検知できる。
  4. 月単位、年単位でどの位の容量になるかを事前に計算して対応可能なサーバを使用するのと、バックアップファイルの保管期間を定めておけば問題ない。
  5. バックアップログにエラー等の記録があるかを走査するバッチを動かして人の作業を減らす。

補足

  • 本当にバックアップが必要なのか検討しましょう。不要なバックアップはただのゴミです。

参考

以上。