244-AWS SAP AWS 「理論・実践・一問道場」

type

status

date

slug

summary

理論

AWS CloudWatch LogsからFirehose経由でログを収集 | Splunk

CloudWatch Logsを使用すれば、AWS環境からすべてのログを1カ所に収集可能。Lambda関数(ラムダ式)などを介して、ログソースをソースとログ形式ごとに複数のロググループにまとめられます。この記事では、ログファイルをCloudWatchからSplunkに取り込む方法についてご紹介します。

https://www.splunk.com/ja_jp/blog/tips-and-tricks/how-to-ingest-any-log-from-aws-cloudwatch-logs-via-firehose.html

1. VPCフローのログ (VPC Flow Logs)

VPCフローのログは、AWS VPC内のネットワークトラフィックの詳細な情報を記録します。これにより、どのインスタンスがどのIPアドレスと通信しているか、どのポートが使用されているか、トラフィックの許可/拒否のステータスなどを把握できます。

利点: ネットワークレベルの監視が可能で、セキュリティの監査やトラブルシューティングに役立ちます。

2. CloudWatch Logs

CloudWatch Logsは、AWSのサービスやアプリケーションからのログデータを収集して保存するサービスです。ログのモニタリング、アラームの設定、ログの解析が可能です。

リアルタイムログ監視や、ログの分析に使用できます。

3. Kinesis Data Firehose

Amazon Kinesis Data Firehoseは、リアルタイムでデータを取り込み、保存、分析、処理、転送を行うサービスです。

Splunkのような外部システムへデータをストリーム形式で送信でき、リアルタイムでの監視と分析が可能です。

利点: 低遅延でデータを送信でき、スケーラブルであるため、大量のログデータの取り扱いに適しています。

4. AWS Lambda

AWS Lambdaは、サーバーレスでコードを実行するサービスです。KinesisやCloudWatch Logsと連携して、ログデータをリアルタイムで処理・変換・転送する役割を果たします。

Lambdaを使用して、例えばログデータをフィルタリングしたり、特定の処理を追加することができます。

5. リアルタイムでのデータ転送

リアルタイムでログデータを処理し、外部システム（例: Splunk）に転送するには、Kinesis Data Firehoseを活用する方法が最適です。これにより、低遅延でデータのストリーミングが可能となり、即座に監視やアラートが行えます。

6. Splunkとの連携

Splunkは、データ分析と可視化に強力なツールを提供するプラットフォームです。AWSと連携して、ログデータをリアルタイムで受け取り、トラフィックの異常検出や詳細な分析を行うことができます。

AWSのサービス（CloudWatch Logs、Kinesisなど）を使ってSplunkにデータを送信することで、監視の効率化や異常の早期検出が可能になります。

まとめ

ネットワークトラフィックの監視とログのリアルタイム処理には、VPCフローのログを使い、CloudWatch Logsでログを収集・分析し、Kinesis Data Firehoseを利用してリアルタイムでSplunkなどの外部システムにデータを送信するアーキテクチャが適しています。Lambdaを使ってデータの前処理を行うことも有効です。

実践

略

一問道場

質問 #244 トピック 1

ある企業が、オンプレミスのデータセンターとAWSのハイブリッドソリューションを開発しました。この企業はAmazon VPCとAmazon EC2インスタンスを使用しており、EC2インスタンスはアプリケーションのログをAmazon CloudWatchに送信しています。EC2インスタンスは、オンプレミスでホストされている複数のリレーショナルデータベースからデータを読み取ります。この企業は、どのEC2インスタンスがデータベースに接続されているかを、ほぼリアルタイムで監視したいと考えています。企業はすでにオンプレミスでSplunkを使用して監視ソリューションを持っています。ソリューションアーキテクトは、どのようにネットワークリングトラフィックをSplunkに送信するかを決定する必要があります。

ソリューションアーキテクトはどのように要件を満たすべきですか？

A. VPCフローのログを有効にし、CloudWatchに送信します。AWS Lambda関数を作成して、CloudWatchログを定期的にAmazon S3バケットにエクスポートします。この際、事前定義されたエクスポート機能を使用します。ACCESS_KEYとSECRET_KEY AWS認証情報を生成し、その認証情報を使用してSplunkがS3バケットからログを取得できるように設定します。

B. Amazon Kinesis Data Firehose配信ストリームを作成し、宛先としてSplunkを指定します。Kinesis Data Firehoseストリームプロセッサを使用して個別のログイベントを抽出するための事前処理AWS Lambda関数を設定します。VPCフローのログを有効にし、CloudWatchに送信します。CloudWatch Logsサブスクリプションを作成して、ログイベントをKinesis Data Firehose配信ストリームに送信します。

C. 企業に対して、データベースへのリクエストをすべてログに記録し、EC2インスタンスのIPアドレスも含めるように依頼します。CloudWatchログをAmazon S3バケットにエクスポートします。Amazon Athenaを使用して、データベース名でグループ化したログをクエリします。Athenaの結果を別のS3バケットにエクスポートします。AWS Lambda関数を呼び出して、S3バケットに新しいファイルがアップロードされるたびに、Splunkに送信します。

D. CloudWatchログをAmazon Kinesisデータストリームに送信し、Amazon Kinesis Data Analytics for SQLアプリケーションを使用します。1分のスライディングウィンドウを設定してイベントを収集します。SQLクエリを作成し、異常検出テンプレートを使用してネットワークリングトラフィックの異常をほぼリアルタイムで監視します。その結果をAmazon Kinesis Data Firehose配信ストリームに送信し、宛先としてSplunkを指定します。