456-AWS SAP AWS 「理論・実践・一問道場」AWS Batch と EC2スポットインスタンス

type

status

date

slug

summary

理論

大規模バッチ処理におけるコスト効率を最適化する方法

AWS Batch

大規模なバッチ処理ジョブに最適なマネージドサービス。

自動的にコンピューティングリソースをスケールし、処理の効率化を図ります。

スポットインスタンスを使用することでコストを大幅に削減可能。スポットインスタンスは、余剰のEC2リソースを利用し、通常のオンデマンドインスタンスより安価で提供されます。

EC2スポットインスタンス

スポットインスタンスはコストが最大90%削減できるため、時間に敏感でないジョブに最適。

SPOT_CAPACITY_OPTIMIZED戦略を利用すると、リソースの確保がより効率的に行え、計算リソースを安定的に確保できます。

AWS Lambda

サーバーレスでスケーラブルな処理を提供しますが、メモリと実行時間に制限があるため、15〜20GBのデータを扱う大規模なバッチ処理には不向き。

Amazon EKS (Elastic Kubernetes Service)

Kubernetesでの処理に特化したマネージドサービスですが、複雑なオーケストレーションが必要となり、シンプルなバッチ処理には過剰な場合があります。

まとめ

大規模なバッチ処理でコスト効率を最大化するには、AWS Batch と EC2スポットインスタンス を組み合わせて使用するのが最適です。ジョブが中断可能であれば、スポットインスタンスを活用することで、処理コストを大幅に削減できます。

実践

略

一問道場

質問 #456

ある企業が、Amazon S3バケットに保存されているデータで大規模なバッチ処理ジョブを実行する必要があります。ジョブはシミュレーションを行い、ジョブの結果は時間に敏感ではなく、中断に耐えることができます。

各ジョブは、S3バケットに保存されているデータを15〜20GB処理する必要があります。企業は、ジョブの出力を別のAmazon S3バケットに保存して、さらに分析を行います。

どのソリューションが最もコスト効率よくこれらの要件を満たすでしょうか？

A. サーバーレスデータパイプラインを作成します。オーケストレーションにはAWS Step Functionsを使用します。データ処理にはAWS Lambda関数（プロビジョニングされた容量を使用）を使います。

B. Amazon EC2スポットインスタンスを含むAWS Batchコンピューティング環境を作成します。SPOT_CAPACITY_OPTIMIZED割り当て戦略を指定します。

C. Amazon EC2オンデマンドインスタンスとスポットインスタンスを含むAWS Batchコンピューティング環境を作成します。スポットインスタンスにはSPOT_CAPACITY_OPTIMIZED割り当て戦略を指定します。

D. Amazon Elastic Kubernetes Service (Amazon EKS)を使用して処理ジョブを実行します。Amazon EC2オンデマンドインスタンスとスポットインスタンスの組み合わせを含む管理ノードグループを使用します。

解説

この問題は、大量のデータを処理するためのコスト効率の良いソリューションを選択することに関するものです。要件としては、シミュレーションを行うジョブで、時間に敏感ではなく、中断しても問題ないこと、15〜20GBのデータを処理し、結果を別のS3バケットに保存するというものです。これらの要件を満たし、最もコスト効率の良いソリューションを選ぶ必要があります。

各選択肢の評価:

A. サーバーレスデータパイプラインを使用 (AWS Lambda + AWS Step Functions)

不適切な選択肢: サーバーレスのAWS Lambdaは非常にスケーラブルで便利ですが、Lambdaには実行時間とメモリ制限があります。特に、1回のジョブで15〜20GBのデータを処理する場合、Lambdaのメモリ制限や最大実行時間（15分）が制約となる可能性があります。また、Lambdaのプロビジョニングされた容量を使用することでコストが増加するため、この方法は最適ではありません。

B. AWS BatchとEC2スポットインスタンス (SPOT_CAPACITY_OPTIMIZED)

適切な選択肢:AWS Batchは、大規模なバッチ処理に最適なサービスで、特にジョブが中断可能である場合に非常にコスト効率が良いです。EC2スポットインスタンスは、定常的なインスタンスよりもはるかに低コストで、AWSが余剰のコンピューティング能力を利用して提供するインスタンスです。スポットインスタンスのSPOT_CAPACITY_OPTIMIZED割り当て戦略を使うことで、リソースの確保がより効率的になります。ジョブが中断可能なため、スポットインスタンスは適しています。

C. AWS Batchとオンデマンドおよびスポットインスタンス (SPOT_CAPACITY_OPTIMIZED)

不適切な選択肢: この選択肢は、スポットインスタンスとオンデマンドインスタンスを組み合わせて使用します。オンデマンドインスタンスはスポットインスタンスよりも高価で、コスト効率を重視する場面では過剰です。ジョブが中断可能であるため、オンデマンドインスタンスを使用する必要はなく、スポットインスタンスのみを使用したほうがよりコスト効率が良いです。

D. Amazon EKS (Elastic Kubernetes Service) + EC2オンデマンドおよびスポットインスタンス

不適切な選択肢: Amazon EKSはKubernetesを管理するサービスですが、バッチ処理のようなシンプルなジョブに対しては過剰な選択肢です。Kubernetesは複雑なオーケストレーションを提供しますが、その設定と管理には追加のコストと時間がかかります。また、スポットインスタンスとオンデマンドインスタンスを組み合わせて使用する点もコスト効率を損なう要因となります。

最適解:

B. AWS Batch と EC2スポットインスタンス (SPOT_CAPACITY_OPTIMIZED) が最もコスト効率が良い解決策です。AWS Batchはバッチ処理に最適化されており、EC2スポットインスタンスを使用することでコストを大幅に削減できます。また、ジョブが中断可能であるため、スポットインスタンスを使用するのが理想的です。SPOT_CAPACITY_OPTIMIZED戦略を使うことで、リソースの確保が効率的に行えます。