Amazon-web-services-data-pipeline
提供：Dev Guides
アマゾンウェブサービス-データパイプライン
*AWS Data Pipeline* は、ユーザーが複数のAWSサービスに分散したデータを簡単に統合し、単一の場所から分析できるように設計されたWebサービスです。AWS Data Pipelineを使用すると、ソースからデータにアクセスして処理した後、結果をそれぞれのAWSサービスに効率的に転送できます。
データパイプラインのセットアップ方法
以下は、データパイプラインを設定する手順です-
- ステップ1 *-次のステップを使用してパイプラインを作成します。
- AWSアカウントにサインインします。
- このリンクを使用して、AWS Data Pipelineコンソールを開きます-https://console.aws.amazon.com/datapipeline/
- ナビゲーションバーで地域を選択します。
- [新しいパイプラインの作成]ボタンをクリックします。
- 各フィールドに必要な詳細を入力します。
- [ソース]フィールドで、[テンプレートを使用してビルド]を選択し、このテンプレートを選択します-ShellCommandActivityを使用して開始します。
- [パラメーター]セクションは、テンプレートが選択されている場合にのみ開きます。 S3入力フォルダーとシェルコマンドをそのままにして、デフォルト値で実行します。 S3出力フォルダーの横にあるフォルダーアイコンをクリックし、バケットを選択します。
- [スケジュール]で、値をデフォルトのままにします。
- [パイプライン構成]で、ログを有効のままにします。 ログのS3ロケーションの下にあるフォルダーアイコンをクリックし、バケットを選択します。
- [セキュリティ/アクセス]で、IAMロールの値をデフォルトのままにします。
- [アクティブ化]ボタンをクリックします。
パイプラインを削除する方法は？
パイプラインを削除すると、関連するすべてのオブジェクトも削除されます。
- ステップ1 *-パイプラインリストからパイプラインを選択します。
- ステップ2 *-[アクション]ボタンをクリックし、[削除]を選択します。
- ステップ3 *-確認プロンプトウィンドウが開きます。 削除をクリックします。
AWS Data Pipelineの機能
シンプルで費用対効果の高い-ドラッグアンドドロップ機能により、コンソールでパイプラインを簡単に作成できます。 ビジュアルパイプラインクリエーターは、パイプラインテンプレートのライブラリを提供します。 これらのテンプレートにより、ログファイルの処理、Amazon S3へのデータのアーカイブなどのタスクのパイプラインを簡単に作成できます。
信頼性-インフラストラクチャは、フォールトトレラントな実行アクティビティ向けに設計されています。 アクティビティロジックまたはデータソースで障害が発生した場合、AWS Data Pipelineはアクティビティを自動的に再試行します。 失敗が続く場合、失敗通知を送信します。 実行の成功、失敗、アクティビティの遅延などの状況に対して、これらの通知アラートを設定することもできます。
柔軟-AWS Data Pipelineは、スケジューリング、追跡、エラー処理などのさまざまな機能を提供します。 Amazon EMRジョブの実行、データベースに対するSQLクエリの直接実行、Amazon EC2で実行されているカスタムアプリケーションの実行などのアクションを実行するように構成できます。
