Kinesis Data Streams

Kinesis Data Streams は、高スループットかつ低レイテンシな リアルタイムデータストリーミングサービス です。

データは Producer（プロデューサー） から Stream（ストリーム） に送信され、複数の Shard（シャード） に分散して処理されます。その後、Consumer（コンシューマー）（SDK、Lambda、Kinesis Data Firehose など）がデータを読み取り、リアルタイムに処理や分析を行います。

Kinesis Data Streams は、Partition Key（パーティションキー） に基づいてデータをシャードへ振り分け、各データを Record（レコード） として保持します。それぞれのレコードにはユニークな Sequence Number が割り当てられ、順序性と一意性を担保します。また、データを一定期間再処理できる Retention Period（保持期間） を持ち、必要に応じてリプレイ（再読込）処理が可能です。

Enhanced Fan-Out（拡張ファンアウト） 機能により、複数のコンシューマーが独立したスループットで同時にデータを取得でき、リアルタイム処理の並列化とスケーラビリティを最適化します。

Kinesis Data Streams は、Kinesis Data Firehose と連携して S3、Redshift、OpenSearch などにデータを自動転送したり、Kinesis Data Analytics や Lambda と組み合わせてストリームデータを即時分析・処理したりできます。

重要用語

ユースケース

• リスト１
• リスト２
• リスト３

ベストプラクティス

• リスト１
• リスト２
• リスト３

高可用性・冗長化

• リスト１
• リスト２
• リスト３

セキュリティ

• リスト１
• リスト２
• リスト３

運用・監視

• リスト１
• リスト２
• リスト３

デフォルトのリミット値

AWS CLIのサンプルコード

#include <stdio.h>

void main(void) {
  int i;
  for (i=0; i<10; i++)
    printf("%d\n", i);

aaaaaaaaaaaaa
bbbbbbbbbbbbb
ccccccccccccc

Terraformのサンプルコード

bbbbbbbbbbbbbbbbbbbbbbb
ddddddddddddddddddddddd

xxxxxxxxxxxxxxxxxxxxxxx
yyyyyyyyyyyyyyyyyyyyyy

課金モデル

公式ページ