Etl-testing-scenarios

提供:Dev Guides
移動先:案内検索

ETLテスト-シナリオ

ETLテストシナリオは、ETLテストプロセスを検証するために使用されます。 次の表は、ETLテスターで使用される最も一般的なシナリオとテストケースの一部を説明しています。

Test Scenarios Test-Cases
Structure Validation

It involves validating the source and the target table structure as per the mapping document.

データ型は、ソースシステムとターゲットシステムで検証する必要があります。

ソースシステムとターゲットシステムのデータ型の長さは同じでなければなりません。

データフィールドタイプとその形式は、ソースシステムとターゲットシステムで同じである必要があります。

ターゲットシステムの列名の検証。

Validating Mapping document It involves validating the mapping document to ensure all the information has been provided. The mapping document should have change log, maintain data types, length, transformation rules, etc.
Validate Constraints It involves validating the constraints and ensuring that they are applied on the expected tables.
Data Consistency check

It involves checking the misuse of integrity constraints like Foreign Key.

属性の定義はセマンティックレイヤーで同じままですが、属性の長さとデータ型はテーブルによって異なる場合があります。

Data Completeness Validation

It involves checking if all the data is loaded to the target system from the source system.

ソースシステムとターゲットシステムのレコード数をカウントします。

境界値分析。

主キーの一意の値を検証します。

Data Correctness Validation

It involves validating the values of data in the target system.

スペルミスまたは不正確なデータがテーブルにあります。

インポート時に整合性制約を無効にすると、Null、Not Uniqueデータが保存されます。

Data Transform validation

It involves creating a spreadsheet of scenarios for input values and expected results and then validating with end-users.

シナリオを作成して、データ内の親子関係を検証します。

データプロファイリングを使用して、各フィールドの値の範囲を比較します。

ウェアハウス内のデータ型がデータモデルに記載されているものと同じかどうかの検証。

Data Quality Validation

It involves performing number check, date check, precision check, data check, Null check, etc.

-日付形式はすべての値で同じである必要があります。

Null Validation It involves checking the Null values where Not Null is mentioned for that field.
Duplicate Validation

It involves validating duplicate values in the target system when data is coming from multiple columns from the source system.

ビジネス要件に従って値が重複している場合は、主キーとその他の列を検証します。

Date Validation check

Validating date field for various actions performed in ETL process.

日付検証を実行する一般的なテストケース-

  • From_DateはTo_Dateより大きくすることはできません
  • 日付値の形式は適切でなければなりません。
  • 日付値にジャンク値またはnull値を含めることはできません
Full Data Validation Minus Query

It involves validating full data set in the source and the target tables by using minus query.

  • source-targettarget-source の両方を実行する必要があります。
  • マイナスクエリが値を返す場合、それは行の不一致と見なされる必要があります。
  • Intersect ステートメントを使用して、ソースとターゲットの行を一致させる必要があります。
  • Intersectによって返されるカウントは、ソーステーブルとターゲットテーブルの個々のカウントと一致する必要があります。
  • マイナスクエリが行を返さず、カウントの交差がソースカウントまたはターゲットテーブルカウントよりも小さい場合、テーブルは重複行を保持します。
Other Test Scenarios

Other Test scenarios can be to verify that the extraction process did not extract duplicate data from the source system.

テストチームは、ソースシステムから重複データが抽出されていないことを検証するために実行されるSQLステートメントのリストを保持します。

Data Cleaning Unwanted data should be removed before loading the data to the staging area.