AppFlow

【VPC外リージョンサービス】

AppFlow は、SaaS間データ統合 を容易に実現する フルマネージド な ノーコードETLサービス です。

Salesforce、ServiceNow、Slack、Zendesk、SAP、Snowflake、Google Analytics、Google Ads、Marketo、Datadog などのSaaSアプリケーションと、S3 や Redshift などのAWSサービスを 双方向データ同期 および データ連携 することができます。

GUIベースで直感的に設定でき、フィールドマッピング、変換、検証、フィルタリング、マスキング、および重複排除などのデータ処理を簡単に構築できます。

イベントトリガースケジュールフロー を利用して、定期フロー やリアルタイム連携を自動実行でき、条件分岐 による柔軟なフロー制御も可能です。

AppFlow は 双方向連携 による データ統合 / データ連携 をセキュアかつ自動的に実現し、SaaSデータをクラウド上のデータレイクや分析基盤へ安全に取り込むことができます。

重要用語

GUIベース
イベントトリガー
スケジュールフロー
関連サービス

ユースケース

SaaS→S3へのノーコードデータ連携SalesforceやSlackなどのSaaSからデータを取得し、GUI操作だけでS3に定期転送してデータレイクに取り込む。
SaaS同士の双方向データ同期SalesforceとServiceNowなど、異なるクラウドアプリ間で顧客情報やチケット情報を自動同期し、二重入力やデータ不整合を減らす。
軽量なETLとフィルタリング連携中にフィルターやマッピング、簡単な変換を行い、必要なデータだけをターゲットシステムに渡す統合フローを手軽に構築する。

ベストプラクティス

フローごとの責務分離用途ごとにフローを分けて管理性を高める。
フィルタとマッピングの活用転送前に不要データを削除し、必要なフィールドのみをマッピングする。
暗号化と認証情報管理接続先認証情報は安全に管理し、KMS暗号化を利用する。

高可用性・バックアップ・リトライ

高可用性・バックアップ・リトライ設計のポイント
【デフォルト】AWS内部で冗長化
 ・コンポーネントのマルチAZ配置
 ・コントロールプレーン
 ・データプレーン
 ・ネットワーク経路
 ・一時データストレージ
 ・暗号化キー
 ・自動スケーリング機能
 ・監視・モニタリング基盤
【自動リトライ】デフォルト
 データフローの実行に対してエラーログ出力とリトライ

セキュリティ

関連サービス設定内容
CloudTrail(操作履歴の記録・監査・追跡)【自動記録】
作成・更新・削除・設定変更は自動記録される。(コントロールプレーンAPI)
データ操作は追跡できない(データプレーンAPI)
Config(リソースの構成状態・設定変更を記録)【Configが有効な場合】
フロー設定変更履歴・宛先/認証方式の準拠評価(対象に限る)
GuardDuty(脅威を自動検出)【GuardDutyが有効な場合】
フロー設定のAPI異常検知

ログ・監視

ログ出力先ログの種類
CloudWatch Logsフローの実行ログ
CloudWatch Logs優先の原則
標準メトリクス
メトリクス名説明

制限値(固定値/ハードリミット/ソフトリミット)

固定値制限値
1回の実行で転送可能なレコード数100,000,000

ハードリミット制限値
フローの実行頻度最短1分
レコードサイズ最大5 MB

ソフトリミット制限値
フロー数/リージョン100

AWS CLIのサンプルコード

CloudFormationのサンプルコード

Terraformのサンプルコード

料金計算

課金項目説明
フロー実行フロー実行回数
処理データ量処理されたデータ量(GB単位)
料金計算ツール

公式ページ

AWSドキュメント AppFlow