ストリーミングデータ

全体構成EventBridgeを中心としたリアルタイムデータパイプライン。ストリーミングデータを取り込み、処理し、複数の配信先に振り分ける構成。
データ取り込み層Data Sources(IoT/Web/Mobile)
Kinesis Data Streams(データの受け口)
データ処理層(データをストリーム処理)Lambda(処理結果をEventBridgeに送信)
DynamoDB(処理済データの状態管理)
イベントルーティング層EventBridge(ルールベースのルーティング)
配信先サービス群(通知パスSNS(購読者へメール送信、Mobile Push通知)
配信先サービス群(非同期処理パスSQS(イベントをキューイングして処理の平準化)
配信先サービス群(ワークフロー処理パスStep Functions(複雑なビジネスロジックを実行)
データ保存層Kinesis Data Firehose(Lambdaからデータ受信)
S3(ストリーミングデータをデータレイクへ保存)
表1.全体構成(ストリーミングデータ)