068-AWS SAP AWS 「理論・実践・一問道場」S3 イベント通知

type

status

date

slug

summary

理論

AWSを活用した効率的なデータ処理アーキテクチャ

データ処理ワークロードを効率化し、スケーラビリティや可用性を確保するためには、以下のAWSサービスと設計原則が役立ちます。

1. サーバーレスアーキテクチャ

AWS Lambda: イベント駆動型でコードを実行。サーバー管理不要で、使用時間に基づく課金モデルがコスト効率を最大化。

Amazon S3 イベント通知: オブジェクトの作成・削除をトリガーにLambdaなどのサービスを起動可能。

メリット:

インフラ管理の負担軽減。

自動スケーリングによる高可用性。

2. メッセージングとキューイング

Amazon SQS: ワークロードを非同期で処理するためのキューサービス。スケーラブルで一時的なメッセージ保存に適している。

Amazon SNS: メッセージの配信をイベント駆動で行う通知サービス。

活用例:

データの到着順序を制御。

分散環境でタスクの負荷分散。

3. コンテナベースのアーキテクチャ

Amazon ECS と AWS Fargate: コンテナを用いたアプリケーション実行環境を提供。Fargateではサーバー管理が不要。

コンテナ化の利点: アプリケーションの移植性向上、リソースの効率的な利用。

4. コスト効率の最適化

イベント駆動モデル: 必要なときだけリソースを利用することで、無駄なコストを削減。

Auto Scaling: リソースを動的に調整し、需要に応じた運用を実現。

設計原則

イベント駆動: イベントに応じてサービスを起動し、リアクティブに処理を実行。

分散アーキテクチャ: システム全体を耐障害性が高い構成にする。

管理負担の軽減: サーバーレスやマネージドサービスを活用して運用の効率化。

これらのAWSサービスと設計原則を活用することで、効率的でスケーラブルなデータ処理を実現し、コストと管理の負担を大幅に削減できます。

実践

S3のイベント通知でLambdaを実行する｜ジロー@インフィニテック

S3のイベント通知で、Lambdaを実行するというよくあるパターンをやってみました。SQSを間に挟むのや、そこからAWS Batchを実行するパターンも合わせてやっていたので、それも別途上げようと思いますが、ひとまず一番シンプルなパターンからです。処理の流れ S3バケットにファイルをアップロードする Lambdaが実行される Lambdaでファイルをダウンロードする Lambdaでダウンロードしたファイルを加工する処理後のファイルを別のS3バケットにファイルをアップロードする構成図イベント通知用のS3バケットの作成イベント通知を設定

https://note.com/hirozki/n/n2a58e20549b9

一問道場

質問 #68

トピック 1

ある企業が、データを処理するために Amazon EC2 インスタンス上で Python スクリプトを実行しています。このスクリプトは10分ごとに実行され、Amazon S3 バケットからファイルを取得して処理します。平均的に、スクリプトは各ファイルの処理に約5分かかります。また、スクリプトは既に処理済みのファイルを再処理しません。

企業が Amazon CloudWatch メトリクスを確認したところ、EC2 インスタンスはファイル処理速度のために約40%の時間がアイドル状態であることが分かりました。企業は、ワークロードを高可用性かつスケーラブルにしたいと考えています。また、長期的な管理の手間を減らすことも目指しています。

これらの要件を最も費用効果の高い方法で満たすソリューションはどれですか？

A. データ処理スクリプトを AWS Lambda 関数に移行します。S3 イベント通知を使用して、オブジェクトをアップロードした際に Lambda 関数を呼び出してオブジェクトを処理します。

B. Amazon Simple Queue Service (Amazon SQS) キューを作成します。Amazon S3 にイベント通知を設定して、このキューにメッセージを送信するようにします。最小サイズが1のインスタンスを持つ EC2 Auto Scaling グループを作成します。データ処理スクリプトを更新して SQS キューをポーリングし、メッセージが示す S3 オブジェクトを処理します。

C. データ処理スクリプトをコンテナイメージに移行します。データ処理コンテナを EC2 インスタンス上で実行し、S3 バケットに新しいオブジェクトがあるかをポーリングし、結果のオブジェクトを処理するように設定します。

D. データ処理スクリプトを Amazon Elastic Container Service (Amazon ECS) 上で実行するコンテナイメージに移行します。このコンテナを AWS Fargate 上で動作させます。コンテナがファイルを処理するときに Fargate の RunTaskAPI 操作を呼び出す AWS Lambda 関数を作成します。S3 イベント通知を使用して、この Lambda 関数を呼び出します。