239-AWS SAP AWS 「理論・実践・一問道場」Amazon Kinesis Data Streams

type

status

date

slug

summary

理論

実例

目的

遺伝子情報を収集するデバイスから送信される膨大なデータをリアルタイムで処理し、分析結果をデータウェアハウスに保存するシステムを構築する。

データの流れと処理のステップ

データ収集:

オンプレミスシステム（センサーデバイス）から、Amazon Kinesis Data Streamsに対してリアルタイムでデータを送信します。

このデータは、1秒間に8KBの遺伝子データが送信されるという前提です。

データ分析:

Kinesisクライアント（例えば、AWS SDKやKinesis Client Library（KCL））を使用して、Kinesis Data Streamsに送られたデータをリアルタイムで取得し、分析します。

分析の内容としては、データの変換、集約、フィルタリングなどが考えられます。

データ処理（分散処理）:

Amazon EMR（Elastic MapReduce）を使用して、Kinesis Data Streamsから取得したデータをさらに高度な処理を行います。EMRは、HadoopやApache Sparkを利用して、大量のデータを並列処理するためのプラットフォームです。

ここでは、データの集約、解析、機械学習モデルの適用など、複雑な処理を行います。

結果の保存:

Amazon Redshift（データウェアハウス）に、処理されたデータや分析結果を保存します。

Redshiftは、大量のデータを効率的に格納し、高速でクエリを実行できるため、分析後のデータを管理するために最適です。

まとめた流れ

オンプレミスデバイス → Kinesis Data Streams

センサーがリアルタイムでデータをKinesis Data Streamsに送信。

Kinesisクライアント → データ分析

Kinesisクライアントがデータをリアルタイムで処理・分析。

EMR → 高度なデータ処理

Amazon EMRを使用して、大規模なデータの分散処理や複雑な計算を実行。

Amazon Redshift → 結果保存

処理結果をAmazon Redshiftに格納し、後でクエリや分析を行う。

この流れで、リアルタイムで遺伝子情報データを効率的に収集・処理・保存でき、研究者がデータ分析結果を迅速に活用できるようになります。

実践

略

一問道場

問題 #239 トピック 1

ある企業が、研究者が多様な集団から大規模なデータサンプルを収集するのを支援するための遺伝子報告デバイスを開発しています。このデバイスは、毎秒8KBの遺伝子データをデータプラットフォームに送信し、そのデータを処理・分析して研究者に情報を提供する必要があります。データプラットフォームは以下の要件を満たす必要があります：