394-AWS SAP AWS 「理論・実践・一問道場」POSIX

type

status

date

slug

summary

理論

1. Amazon Elastic File System (EFS)

EFSは、AWSが提供する共有ファイルストレージサービスで、複数のEC2インスタンスから同時にアクセスできるPOSIX互換のストレージです。EFSは、スケーラブルで高可用性を備えており、複数のアベイラビリティゾーン（AZ）にデータを分散して保存することで耐障害性を提供します。

パフォーマンスモード：

General Purpose モード: 通常のワークロード向けに適しており、読み書き頻度が高いが、スループット要求が中程度のケースに最適です。
Max I/O モード: 高スループットや低レイテンシが要求される大規模なワークロード向けに最適化されています。このモードは、より多くのEC2インスタンスがアクセスする場合でも、高いパフォーマンスを維持します。

2. Elastic Block Store (EBS)

EBSは、EC2インスタンスにアタッチできるブロックレベルのストレージです。io2ボリュームは、高性能なブロックストレージで、特にI/O集約型のアプリケーションに向いています。しかし、EBSは一度に1つのインスタンスにしか接続できないため、複数のインスタンスからアクセスする共有ストレージには不向きです。

3. Network File System (NFS)

NFSは、ネットワークを通じてファイルシステムを共有するためのプロトコルで、POSIX互換性を提供します。LinuxやUNIX環境でよく使われ、特に分散ファイルシステムで重要な役割を果たします。AWSでは、EFSをNFSサーバーとして利用することで、複数のEC2インスタンスが共有アクセスすることができます。

4. 高可用性と耐障害性

高可用性と耐障害性を実現するために、AWSではデータが複数のアベイラビリティゾーンに分散して配置される仕組みを採用しています。これにより、1つのAZが障害を起こしても、システム全体はダウンせずに運用を続けることができます。

5. スループットとパフォーマンス

大規模なビッグデータ分析システムや高性能が求められるワークロードでは、高スループットと低遅延が重要です。EFSのMax I/O モードは、特にスループットとパフォーマンスが重要な場合に最適化されており、大規模なクラスター環境に適しています。

この知識を理解することで、AWSのストレージサービスを適切に選択し、要件に最適なソリューションを提供することができます。

実践

略

一問道場

質問 #394

ある会社がAWSでビッグデータ分析用の新しいクラスターを展開しています。このクラスターは、複数のアベイラビリティゾーンに分散された多くのLinux Amazon EC2インスタンスで実行されます。

クラスター内のすべてのノードは、共通の基盤となるファイルストレージに対して読み書きアクセスを持つ必要があります。ファイルストレージは、以下の要件を満たす必要があります：

高い可用性

高い耐障害性

Portable Operating System Interface（POSIX）との互換性

高いスループットの対応

どのストレージソリューションがこれらの要件を満たしますか？

A. AWS Storage GatewayファイルゲートウェイNFSファイル共有をAmazon S3バケットに接続して、クラスター内の各EC2インスタンスにNFSファイル共有をマウントする。

B. 新しいAmazon Elastic File System（Amazon EFS）ファイルシステムをGeneral Purposeパフォーマンスモードでプロビジョニングし、クラスター内の各EC2インスタンスにEFSファイルシステムをマウントする。

C. 新しいAmazon Elastic Block Store（Amazon EBS）ボリュームをio2ボリュームタイプでプロビジョニングし、EBSボリュームをクラスター内のすべてのEC2インスタンスにアタッチする。

D. 新しいAmazon Elastic File System（Amazon EFS）ファイルシステムをMax I/Oパフォーマンスモードでプロビジョニングし、クラスター内の各EC2インスタンスにEFSファイルシステムをマウントする。

解説

この問題に関する解説を行います。要件を順に確認し、どのストレージソリューションが最適かを見ていきます。

要件：

高可用性と耐障害性

ストレージソリューションは、複数のアベイラビリティゾーン（AZ）にまたがってデータを保持し、サービスの中断や障害から保護されている必要があります。

POSIX互換

POSIX（Portable Operating System Interface）は、特にLinuxやUNIXベースのシステムでファイルシステムの動作に関連する標準規格であり、NFS（Network File System）などのプロトコルを使ってファイルアクセスを行う場合に求められます。

高いスループット

ビッグデータ分析クラスターでは、ファイルストレージのアクセス速度が重要です。特に大量のデータを高速に読み書きする必要があります。

各選択肢の評価：

A. AWS Storage Gateway file gateway NFS file share

Storage Gatewayは、オンプレミス環境とAWSクラウドを接続するためのハイブリッドストレージサービスです。ファイルゲートウェイは、オンプレミスからS3へデータをアクセスする際にNFSを提供します。しかし、このアプローチは、ストレージがS3に基づいており、S3自体はPOSIX互換ではなく、高いスループットや低遅延アクセスには向いていません。したがって、この選択肢は要件を満たしません。

B. Amazon Elastic File System (EFS) - General Purpose performance mode

EFSは、複数のEC2インスタンスから同時にアクセス可能な共有ファイルシステムで、POSIX互換を持つ完全に管理されたファイルシステムです。General Purposeパフォーマンスモードは、読み書きが頻繁に行われる小規模～中規模なワークロード向けに最適化されています。EFSは複数のAZにデータを分散させ、高可用性と耐障害性を提供します。ビッグデータの分析用に十分なスループットも提供できるため、この選択肢は要件を満たします。

C. Amazon Elastic Block Store (EBS) - io2 volume type

EBSは、EC2インスタンスに直接接続されるブロックストレージです。io2ボリュームは高性能を提供しますが、EBSボリュームは複数のEC2インスタンスで同時にアクセスすることはできません。したがって、複数のインスタンスで共有アクセスを必要とするクラスターには適していません。このため、この選択肢は不適切です。

D. Amazon Elastic File System (EFS) - Max I/O performance mode

Max I/Oパフォーマンスモードは、EFSのもう一つのパフォーマンスモードで、非常に高いスループットを要求する大規模なワークロード向けに最適化されています。これにより、より多くのインスタンスがファイルシステムにアクセスする場合でも、非常に高いパフォーマンスを提供できます。ビッグデータ分析クラスターにはこのモードが適しており、高可用性や耐障害性、POSIX互換を持ちながら、非常に高いスループットもサポートするため、この選択肢は要件を満たします。