359-AWS SAP AWS 「理論・実践・一問道場」AWS DataSync

type

status

date

slug

summary

理論

1. AWS DataSync

AWS DataSyncは、大量のデータを効率的にAWSに移行するためのサービスです。オンプレミスとAWS間でデータを転送する際のデータの移行効率やスケーラビリティを大きく改善します。特に、以下のような特長があります：

増分バックアップ：DataSyncは、データの変更分のみを転送することで、転送時間を短縮し、コストを削減できます。

カスタムフィルタ：特定のディレクトリやファイルのみを選んでバックアップできるため、必要なデータだけを効率的に移行可能です。

AWS S3との統合：DataSyncはAmazon S3との密接な統合が可能で、大量のデータを低コストでストレージできます。

2. AWS Snowball Edge

AWS Snowball Edgeは、オフラインで大量のデータをAWSに転送するためのデバイスで、インターネット接続が不安定な環境や非常に大量のデータを扱う場合に便利です。初期バックアップや一度に大量のデータをAWSに移行する際に有用ですが、増分バックアップには通常使用しません。オンラインでの転送が可能な場合は、DataSyncの方が適しています。

3. AWS Backup

AWS Backupは、EC2インスタンスやEFSなどのAWSリソースのバックアップを管理するためのサービスです。オンプレミスのデータや特定のファイルシステムに対しては、AWS Backupが適切でない場合があります。そのため、S3にバックアップする際はDataSyncの方が効率的です。

4. Amazon S3

Amazon S3は、データのバックアップやアーカイブに利用される最も一般的なサービスです。特徴としては：

低コスト：データ量が多い場合でも、S3は非常にコスト効率の良いストレージソリューションです。

スケーラブル：データ量が増加しても問題なく対応でき、容量を気にせずにデータを格納できます。

セキュリティ：データの暗号化やアクセス制御が強化されており、機密性が求められるデータの保護に適しています。

5. Amazon Direct Connect

AWS Direct Connectは、オンプレミスとAWSクラウド間で高速な専用線接続を提供するサービスです。大量のデータ転送を行う際に、インターネット経由の転送よりも低レイテンシと安定性を提供します。これにより、DataSyncやAWS Snowball Edgeを補完する形で、効率的にデータをクラウドに転送することができます。

まとめ

オンプレミスのデータをAWSにバックアップするには、データのサイズ、転送速度、バックアップの頻度などに基づいて最適な方法を選ぶ必要があります。特にAWS DataSyncは、増分バックアップやカスタムフィルタを活用できるため、大量のデータを効率的にバックアップするのに最も適しています。また、AWS S3との統合により、長期的なデータの保存にも適しています。

実践

略

一問道場

問題 #359

ある企業は、約100万個の.csvファイルをVMでホストして、オンプレミスで情報を管理しています。このデータは最初に10TBのサイズがあり、毎週1TBずつ増加します。企業は、このデータをAWSクラウドに自動的にバックアップする必要があります。バックアップは毎日実行されなければなりません。企業は、指定されたソースディレクトリ内にあるデータのサブセットだけをバックアップするためのカスタムフィルタを適用する必要があります。企業はAWS Direct Connect接続を設定しています。

どのソリューションが、最も運用負荷を抑えてバックアップ要件を満たすでしょうか？

A. Amazon S3 CopyObject API操作を使用して、既存のデータをAmazon S3にコピーします。CopyObject API操作を使用して、新しいデータを毎日Amazon S3に複製します。

B. AWS Backupでバックアッププランを作成し、データをAmazon S3にバックアップします。バックアッププランを毎日実行するようにスケジュールします。

C. AWS DataSyncエージェントをオンプレミスのハイパーバイザー上で実行するVMにインストールし、DataSyncタスクを構成して、毎日データをAmazon S3に複製します。

D. 初期バックアップにはAWS Snowball Edgeデバイスを使用し、増分バックアップは毎日AWS DataSyncを使用してAmazon S3に行います。

解説

この問題では、AWSクラウドにデータをバックアップするための効率的で運用負荷の少ないソリューションを求められています。

各選択肢の解説:

A. Amazon S3 CopyObject API操作を使用して、既存のデータをAmazon S3にコピーします。CopyObject API操作を使用して、新しいデータを毎日Amazon S3に複製します。

問題点: CopyObject APIは、単一のオブジェクトのコピーに適しているため、大量のファイル（この場合は100万個の.csvファイル）をバックアップするには非効率的です。毎日の増分バックアップにも向いていません。

不適切な選択肢です。

B. AWS Backupでバックアッププランを作成し、データをAmazon S3にバックアップします。バックアッププランを毎日実行するようにスケジュールします。

問題点: AWS Backupは、主にEFSやRDS、EC2などのAWSネイティブリソースに対して使用されるバックアップソリューションです。ファイルシステム（.csvファイル）に対してはあまり適していません。さらに、カスタムフィルタを使った細かいバックアップ制御が難しいです。

不適切な選択肢です。

適切な選択肢:

AWS DataSyncは、大量のデータ移行に特化したサービスで、オンプレミスのストレージからAWS S3へのデータ転送に非常に適しています。
カスタムフィルタを設定して、特定のディレクトリのみをバックアップすることができ、増分バックアップもサポートしています。
運用負荷が少なく、高い効率でデータを転送・バックアップできます。
これにより、毎日のバックアップが自動化され、オンプレミスのデータを簡単にAWSに移行できます。
最適な選択肢です。

D. 初期バックアップにはAWS Snowball Edgeデバイスを使用し、増分バックアップは毎日AWS DataSyncを使用してAmazon S3に行います。

問題点:

初期バックアップにAWS Snowball Edgeは適しているかもしれませんが、増分バックアップにはDataSyncを使用する方法は、手間とコストがかかる可能性があります。
さらに、初期バックアップとしてSnowball Edgeを使用する必要がないケース（既にAWS Direct Connectが設定されている場合）では過剰な方法です。
最適ではない選択肢です。

結論:

最も効率的で運用負荷が少ない方法は、C. AWS DataSyncエージェントを使用して、オンプレミスからAWS S3にデータをバックアップする方法です。この方法であれば、大量のファイルのバックアップを効率的に行い、カスタムフィルタを使って特定のディレクトリのみをバックアップすることもできます。