Etl-testing-data-transformations

ETLテスト-データ変換

データ変換の実行は少し複雑です。単一のSQLクエリを記述し、出力をターゲットと比較することでは達成できないためです。 ETLテストデータトランスフォーメーションの場合、トランスフォーメーションルールを検証するために、各行に複数のSQLクエリを記述する必要があります。

まず、ソースデータがすべての変換ルールをテストするのに十分であることを確認します。 データ変換のETLテストを成功させるための鍵は、ソースシステムから適切で十分なサンプルデータを選択して、変換ルールを適用することです。

ETLテストデータ変換の主要な手順を以下に示します-

• 最初のステップは、入力データのシナリオと期待される結果のリストを作成し、これらをビジネス顧客と検証することです。 これは、設計中に要件を収集するための優れたアプローチであり、テストの一部としても使用できます。
• 次のステップでは、すべてのシナリオを含むテストデータを作成します。 ETL開発者を利用して、データセットにシナリオスプレッドシートを追加するプロセス全体を自動化し、シナリオが変更される可能性があるため、汎用性とモビリティを実現します。
• 次に、データプロファイリングの結果を利用して、ターゲットデータとソースデータの各フィールドの値の範囲と送信を比較します。
• ETLで生成されたフィールド（代理キーなど）の正確な処理を検証します。
• ウェアハウス内のデータ型の検証は、データモデルまたは設計で指定されたものと同じです。
• 参照整合性をテストするテーブル間にデータシナリオを作成します。
• データ内の親子関係を検証します。
• 最後のステップは、*ルックアップ変換*を実行することです。 ルックアップクエリは集計なしでまっすぐで、ソーステーブルごとに1つの値のみを返すことが期待されます。 前のテストのように、ソース修飾子でルックアップテーブルを直接結合できます。 そうでない場合は、ルックアップテーブルをソースのメインテーブルと結合するクエリを記述し、ターゲットの対応する列のデータを比較します。