Glue

Glue は、サーバーレスな ETL（Extract, Transform, Load） サービスであり、分析（Analytics） における データ統合 と データ準備 を自動化できるプラットフォームです。

Glue Crawler によってデータソースをスキャンし、スキーマを自動検出して Glue Data Catalog に登録します。登録されたメタデータをもとに、Glue Job / ETL Job を実行して Python / Scala / PySpark ベースの ETL処理 を行うことができます。

開発者は Glue Studio を使ってGUI上でジョブを設計でき、ノーコードでデータ整形を行いたい場合は Glue DataBrew を利用できます。また、ジョブの実行や連携を自動化するために Glue Workflow や Trigger が用意されており、複雑なETLパイプラインも簡単に運用できます。

Glue Streaming によって Kinesis や Kafka からのリアルタイムデータを処理でき、Glue Schema Registry でストリーミングデータのスキーマ管理も可能です。

これらの機能は Athena、Redshift、EMR などのサービスと統合して動作し、データレイク環境の構築と分析基盤の自動化を強力に支援します。

重要用語

ユースケース

• リスト１
• リスト２
• リスト３

ベストプラクティス

• リスト１
• リスト２
• リスト３

高可用性・冗長化

• リスト１
• リスト２
• リスト３

セキュリティ

• リスト１
• リスト２
• リスト３

運用・監視

• リスト１
• リスト２
• リスト３

デフォルトのリミット値

AWS CLIのサンプルコード

#include <stdio.h>

void main(void) {
  int i;
  for (i=0; i<10; i++)
    printf("%d\n", i);

aaaaaaaaaaaaa
bbbbbbbbbbbbb
ccccccccccccc

Terraformのサンプルコード

bbbbbbbbbbbbbbbbbbbbbbb
ddddddddddddddddddddddd

xxxxxxxxxxxxxxxxxxxxxxx
yyyyyyyyyyyyyyyyyyyyyy

課金モデル

公式ページ