Etl-testing-scenarios
ETLテスト-シナリオ
ETLテストシナリオは、ETLテストプロセスを検証するために使用されます。 次の表は、ETLテスターで使用される最も一般的なシナリオとテストケースの一部を説明しています。
Test Scenarios | Test-Cases |
---|---|
Structure Validation |
It involves validating the source and the target table structure as per the mapping document. データ型は、ソースシステムとターゲットシステムで検証する必要があります。 ソースシステムとターゲットシステムのデータ型の長さは同じでなければなりません。 データフィールドタイプとその形式は、ソースシステムとターゲットシステムで同じである必要があります。 ターゲットシステムの列名の検証。 |
Validating Mapping document | It involves validating the mapping document to ensure all the information has been provided. The mapping document should have change log, maintain data types, length, transformation rules, etc. |
Validate Constraints | It involves validating the constraints and ensuring that they are applied on the expected tables. |
Data Consistency check |
It involves checking the misuse of integrity constraints like Foreign Key. 属性の定義はセマンティックレイヤーで同じままですが、属性の長さとデータ型はテーブルによって異なる場合があります。 |
Data Completeness Validation |
It involves checking if all the data is loaded to the target system from the source system. ソースシステムとターゲットシステムのレコード数をカウントします。 境界値分析。 主キーの一意の値を検証します。 |
Data Correctness Validation |
It involves validating the values of data in the target system. スペルミスまたは不正確なデータがテーブルにあります。 インポート時に整合性制約を無効にすると、Null、Not Uniqueデータが保存されます。 |
Data Transform validation |
It involves creating a spreadsheet of scenarios for input values and expected results and then validating with end-users. シナリオを作成して、データ内の親子関係を検証します。 データプロファイリングを使用して、各フィールドの値の範囲を比較します。 ウェアハウス内のデータ型がデータモデルに記載されているものと同じかどうかの検証。 |
Data Quality Validation |
It involves performing number check, date check, precision check, data check, Null check, etc. 例-日付形式はすべての値で同じである必要があります。 |
Null Validation | It involves checking the Null values where Not Null is mentioned for that field. |
Duplicate Validation |
It involves validating duplicate values in the target system when data is coming from multiple columns from the source system. ビジネス要件に従って値が重複している場合は、主キーとその他の列を検証します。 |
Date Validation check |
Validating date field for various actions performed in ETL process. 日付検証を実行する一般的なテストケース-
|
Full Data Validation Minus Query |
It involves validating full data set in the source and the target tables by using minus query.
|
Other Test Scenarios |
Other Test scenarios can be to verify that the extraction process did not extract duplicate data from the source system. テストチームは、ソースシステムから重複データが抽出されていないことを検証するために実行されるSQLステートメントのリストを保持します。 |
Data Cleaning | Unwanted data should be removed before loading the data to the staging area. |