Kinesis Data Firehose

【VPC外リージョンサービス】

Kinesis Data Firehose は、ストリームデータの取り込みから変換、配信までをフルマネージドで実行するサービスです。

データは Delivery Stream（デリバリーストリーム） を通じて流れ、Source（ソース） から受け取ったデータを、設定に基づいてDestination（デスティネーション） に配信します。

主なデスティネーションには、S3、OpenSearch、Redshift、Splunk（スプランク） などがあり、これらにほぼリアルタイムでデータを届けることができます。Buffering（バッファリング） の条件（サイズや時間）を柔軟に設定でき、転送前には Compression（圧縮） や暗号化、さらに Lambda を利用した Transformation（変換） によって、ETL処理を簡素化できます。

スケーリングは自動で行われるため、運用負荷は最小限に抑えられます。また、Kinesis Data Streams や Kinesis Data Analytics と連携することで、データ収集からリアルタイム分析までをシームレスに統合できます。

Kinesis Data Firehoseは、ログデータ、メトリクス、IoTデータ などを効率的に収集・変換・保存する基盤として、多くのシステムで定番のサービスとなっています。

重要用語

ユースケース

ベストプラクティス

高可用性・バックアップ・リトライ

セキュリティ

Kinesis Data Firehose が実行ロールを引き受ける典型的な連携パターン

  {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "firehose.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

ログ・監視

標準メトリクス

制限値（固定値／ハードリミット／ソフトリミット）

AWS CLIのサンプルコード

CloudFormationのサンプルコード

Terraformのサンプルコード

料金計算

公式ページ