239-AWS SAP AWS 「理論・実践・一問道場」Amazon Kinesis Data Streams

type

status

date

slug

summary

理論

実例

目的

遺伝子情報を収集するデバイスから送信される膨大なデータをリアルタイムで処理し、分析結果をデータウェアハウスに保存するシステムを構築する。

データの流れと処理のステップ

データ収集:

オンプレミスシステム（センサーデバイス）から、Amazon Kinesis Data Streamsに対してリアルタイムでデータを送信します。

このデータは、1秒間に8KBの遺伝子データが送信されるという前提です。

データ分析:

Kinesisクライアント（例えば、AWS SDKやKinesis Client Library（KCL））を使用して、Kinesis Data Streamsに送られたデータをリアルタイムで取得し、分析します。

分析の内容としては、データの変換、集約、フィルタリングなどが考えられます。

データ処理（分散処理）:

Amazon EMR（Elastic MapReduce）を使用して、Kinesis Data Streamsから取得したデータをさらに高度な処理を行います。EMRは、HadoopやApache Sparkを利用して、大量のデータを並列処理するためのプラットフォームです。

ここでは、データの集約、解析、機械学習モデルの適用など、複雑な処理を行います。

結果の保存:

Amazon Redshift（データウェアハウス）に、処理されたデータや分析結果を保存します。

Redshiftは、大量のデータを効率的に格納し、高速でクエリを実行できるため、分析後のデータを管理するために最適です。

まとめた流れ

オンプレミスデバイス → Kinesis Data Streams

センサーがリアルタイムでデータをKinesis Data Streamsに送信。

Kinesisクライアント → データ分析

Kinesisクライアントがデータをリアルタイムで処理・分析。

EMR → 高度なデータ処理

Amazon EMRを使用して、大規模なデータの分散処理や複雑な計算を実行。

Amazon Redshift → 結果保存

処理結果をAmazon Redshiftに格納し、後でクエリや分析を行う。

この流れで、リアルタイムで遺伝子情報データを効率的に収集・処理・保存でき、研究者がデータ分析結果を迅速に活用できるようになります。

実践

略

一問道場

問題 #239 トピック 1

ある企業が、研究者が多様な集団から大規模なデータサンプルを収集するのを支援するための遺伝子報告デバイスを開発しています。このデバイスは、毎秒8KBの遺伝子データをデータプラットフォームに送信し、そのデータを処理・分析して研究者に情報を提供する必要があります。データプラットフォームは以下の要件を満たす必要があります：

受信した遺伝子データのほぼリアルタイムでの分析を提供する

データは柔軟で、並列的で、耐久性があることを保証する

処理結果をデータウェアハウスに提供する

ソリューションアーキテクトがこれらの要件を満たすために使用すべき戦略はどれですか？

A. Amazon Kinesis Data Firehoseを使用して受信したセンサーデータを収集し、Kinesisクライアントでデータを分析し、その結果をAmazon RDSインスタンスに保存する

B. Amazon Kinesis Data Streamsを使用して受信したセンサーデータを収集し、Kinesisクライアントでデータを分析し、その結果をAmazon Redshiftクラスターに保存するためにAmazon EMRを使用する

C. Amazon S3を使用して受信したデバイスデータを収集し、Amazon SQSからKinesisでデータを分析し、その結果をAmazon Redshiftクラスターに保存する

D. Amazon API Gatewayを使用してリクエストをAmazon SQSキューに入れ、AWS Lambda関数でデータを分析し、その結果をAmazon Redshiftクラスターに保存するためにAmazon EMRを使用する

解説

この問題では、センサーデバイスからのリアルタイムデータを収集し、分析結果をデータウェアハウスに保存するシステムの設計について問われています。

解答Bの解説:

Amazon Kinesis Data Streamsを使ってリアルタイムでセンサーデータを収集。

Kinesisクライアントを使用してデータをリアルタイムで分析。これにより、ストリーミングデータを処理できます。

Amazon EMRは、さらに高度なデータ処理を行うために使用され、結果をAmazon Redshiftに保存します。

この構成は、要求されているリアルタイムのデータ分析と耐久性を確保し、分析結果をRedshiftに保存する要件を満たします。