Dynamodb-data-pipeline
DynamoDB-データパイプライン
Data Pipelineでは、テーブル、ファイル、またはS3バケットとの間でデータをエクスポートおよびインポートできます。 もちろん、これはバックアップ、テスト、および同様のニーズやシナリオで役立ちます。
エクスポートでは、データパイプラインコンソールを使用します。これは、新しいパイプラインを作成し、Amazon EMR（Elastic MapReduce）クラスターを起動してエクスポートを実行します。 EMRはDynamoDBからデータを読み取り、ターゲットに書き込みます。 このチュートリアルの後半で、EMRについて詳しく説明します。
インポート操作では、データパイプラインコンソールを使用して、パイプラインを作成し、EMRを起動してインポートを実行します。 ソースからデータを読み取り、宛先に書き込みます。
_ 注-使用されるサービス、具体的にはEMRとS3の場合、エクスポート/インポート操作にはコストがかかります。
データパイプラインの使用
データパイプラインを使用するときは、アクションとリソースのアクセス許可を指定する必要があります。 IAMロールまたはポリシーを使用してそれらを定義できます。 インポート/エクスポートを実行しているユーザーは、アクティブなアクセスキーIDとシークレットキーが必要になることに注意してください。
データパイプラインのIAMロール
データパイプラインを使用するには、2つのIAMロールが必要です-
- DataPipelineDefaultRole -これには、パイプラインに実行を許可するすべてのアクションがあります。
- DataPipelineDefaultResourceRole -これには、パイプラインがプロビジョニングを許可するリソースがあります。
Data Pipelineを初めて使用する場合は、各ロールを作成する必要があります。 既存のロールにより、以前のユーザーはすべてこれらのロールを所有しています。
IAMコンソールを使用してデータパイプラインのIAMロールを作成し、次の4つのステップを実行します-
- ステップ2 *-ダッシュボードから*役割*を選択します。
ステップ3 *-*新しいロールの作成*を選択します。 次に、[ロール名]フィールドにDataPipelineDefaultRoleと入力し、[次のステップ]を選択します。 *Role Type パネルの AWS Service Roles リストで、 Data Pipeline に移動し、 Select を選択します。 Review パネルで Create Role を選択します。
- ステップ4 *-*新しいロールの作成*を選択します。
