075-AWS SAP AWS 「理論・実践・一問道場」DynamoDB TTL

type

status

date

slug

summary

理論

高頻度データ取り込みと効率的なストレージ管理

現代のシステムでは、さまざまなデバイスやサービスから高頻度で小さなデータを収集し、それを効率的に保存・管理することが重要です。このようなシナリオにおいて考慮すべき主要なポイントを以下にまとめます。

1. データ取り込みの特徴

スモールデータ: 各レコードが小さいサイズ（例: 数KB以下）。

取り込み頻度: 毎秒数万件以上のデータを継続的に受信する場合が多い。

短期間保存: 一定期間（例: 120日）を過ぎたデータは削除可能なケースが一般的。

2. ストレージソリューションの要件

スケーラビリティ: データ量が急増しても対応可能なインフラ。

耐久性と可用性: データを安全に保存し、必要に応じてすぐにアクセス可能。

低レイテンシー: 高速なデータ取り出しを実現。

コスト効率: 必要な機能を最小限のコストで提供する仕組み。

3. データ削除とライフサイクル管理

自動削除機能: データの保存期限を設定し、手動操作を不要にする仕組み。

例: TTL（Time to Live）機能やライフサイクルポリシー。

運用の効率化: 管理負荷を減らし、不要なデータがストレージを占有するのを防ぐ。

4. 代表的なソリューション

Amazon S3:

バッチ処理されたデータや大容量データの長期保存に最適。
ライフサイクルポリシーで古いデータを自動削除。

Amazon DynamoDB:

高頻度かつ小規模なデータ取り込みに対応。
TTL機能でデータの保存期限を管理。

Amazon RDS:

構造化データを扱うリレーショナルデータベース。
定期的な手動クエリでデータを削除可能だが、自動化が制限的。

5. 設計のベストプラクティス

要件に応じたツール選択: 小規模データにはDynamoDB、大規模バッチデータにはS3が適する。

コスト最適化: ストレージコストと読み書きコストのバランスを考慮。

拡張性と管理性の両立: ユーザー管理やアクセス権限も一貫性を持たせる。

このようなポイントを押さえ、最適なストレージ設計を行うことで、スムーズなデータ管理とコスト削減が可能になります。

実践

DynamoDBのTTLがハッシュキーに設定できるか試してみた | DevelopersIO

DynamoDBのTTL（Time to Live）機能は、レコード毎にデータの有効期限を指定でき、その有効期限を過ぎるとデータが自動削除されます。これは任意のカラムを設定しますが、ハッシューキーが設定できるか試してみました。

https://dev.classmethod.jp/articles/dynamodb-ttl-use-hash-key/

一問道場

質問 #75

ソリューションアーキテクトが、新しいアプリケーションのデータ保存および取得アーキテクチャを設計しています。このアプリケーションは、世界中のデバイスから毎分数百万件の小さなレコードを取り込むように設計されています。各レコードのサイズは4KB未満であり、耐久性のある場所に保存され、低レイテンシーで取得できる必要があります。このデータは一時的なものであり、120日間のみ保存が必要で、その後は削除可能です。

ソリューションアーキテクトは、1年間でのストレージ要件が約10～15TBになると見積もっています。

この設計要件を満たし、最も費用対効果の高いストレージ戦略はどれですか？

選択肢

A. アプリケーションを設計し、各入力レコードを単一の.csvファイルとしてAmazon S3バケットに保存し、インデックス付きで取得できるようにします。ライフサイクルポリシーを設定して120日以上経過したデータを削除します。

B. アプリケーションを設計し、各入力レコードをAmazon DynamoDBテーブルに保存します。このテーブルはスケールに適した設定がなされています。DynamoDBのTime to Live（TTL）機能を設定して120日以上経過したレコードを削除します。

C. アプリケーションを設計し、各入力レコードをAmazon RDS MySQLデータベースの単一のテーブルに保存します。ナイトリーのcronジョブを実行し、120日以上経過したレコードを削除するクエリを実行します。

D. アプリケーションを設計し、入力レコードをバッチ処理してからAmazon S3バケットに書き込みます。オブジェクトのメタデータを更新して、バッチ内のレコードのリストを含めます。Amazon S3のメタデータ検索機能を使用してデータを取得します。ライフサイクルポリシーを設定して120日後にデータを削除します。

解説