EMR

【VPC内リージョンサービス】

EMR（Elastic MapReduce） は、マネージドな Apache Spark / Hadoop / Hive / HBase / Flink / Presto / Hue / Zeppelin などのフレームワークをサポートするビッグデータ分析基盤です。

大規模な ETL / データ変換 / バッチ処理 / ストリーム処理 を柔軟に実行でき、データの集計・加工・解析を効率的に行うことができます。

S3 / Glue Data Catalog / Redshift / Athena / DynamoDB / RDS / Kinesis / CloudWatch Logs などのAWSサービスと連携し、統合的なデータ分析環境を構築できます。特に、HDFS / EMRFS / S3連携（データレイク統合） により、S3をHadoopストレージとして利用し、スケーラブルで低コストなデータレイクを運用できます。

セキュリティ面では、Kerberos認証 や IAM / KMS / VPC暗号化 に対応しており、安全なデータ処理を実現します。

クラスタライフサイクル管理 により、クラスターの作成・実行・終了を自動化し、スポットインスタンス や Auto Scaling を活用することでコスト最適化も可能です。

開発環境としては、Jupyter / EMR Studio / EMR Notebooks / AWS CLI / SDK が利用でき、データサイエンスや分析ジョブの開発・デバッグを効率的に行えます。

EMR Serverless により、クラスターを管理せずにジョブ単位でリソースを自動割り当てできるため、運用負荷を大幅に削減できます。

重要用語

ユースケース

ベストプラクティス

高可用性・バックアップ・リトライ

セキュリティ

EMRが実行ロールを引き受ける典型的な連携パターン

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "elasticmapreduce.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

ログ・監視

標準メトリクス

制限値（固定値／ハードリミット／ソフトリミット）

AWS CLIのサンプルコード

CloudFormationのサンプルコード

Terraformのサンプルコード

料金計算

公式ページ