Kinesis Data Firehose

Kinesis Data Firehose は、ストリームデータの取り込みから変換、配信までをフルマネージドで実行するサービスです。

データは Delivery Stream（デリバリーストリーム） を通じて流れ、Source（ソース） から受け取ったデータを、設定に基づいてDestination（デスティネーション） に配信します。

主なデスティネーションには、S3、OpenSearch、Redshift、Splunk（スプランク） などがあり、これらにほぼリアルタイムでデータを届けることができます。Buffering（バッファリング） の条件（サイズや時間）を柔軟に設定でき、転送前には Compression（圧縮） や暗号化、さらに Lambda を利用した Transformation（変換） によって、ETL処理を簡素化できます。

スケーリングは自動で行われるため、運用負荷は最小限に抑えられます。また、Kinesis Data Streams や Kinesis Data Analytics と連携することで、データ収集からリアルタイム分析までをシームレスに統合できます。

Kinesis Data Firehoseは、ログデータ、メトリクス、IoTデータ などを効率的に収集・変換・保存する基盤として、多くのシステムで定番のサービスとなっています。

重要用語

ユースケース

• リスト１
• リスト２
• リスト３

ベストプラクティス

• リスト１
• リスト２
• リスト３

高可用性・冗長化

• リスト１
• リスト２
• リスト３

セキュリティ

• リスト１
• リスト２
• リスト３

運用・監視

• リスト１
• リスト２
• リスト３

デフォルトのリミット値

AWS CLIのサンプルコード

#include <stdio.h>

void main(void) {
  int i;
  for (i=0; i<10; i++)
    printf("%d\n", i);

aaaaaaaaaaaaa
bbbbbbbbbbbbb
ccccccccccccc

Terraformのサンプルコード

bbbbbbbbbbbbbbbbbbbbbbb
ddddddddddddddddddddddd

xxxxxxxxxxxxxxxxxxxxxxx
yyyyyyyyyyyyyyyyyyyyyy

課金モデル

公式ページ