Etl-testing-automation

ETLテスト–自動化

ETLテストは、主にSQLスクリプトを使用して行われ、スプレッドシートでデータを収集します。 ETLテストを実行するこのアプローチは非常に遅く、時間がかかり、エラーが発生しやすく、サンプルデータに対して実行されます。

手動ETLテストの技術的課題

ETLテストチームは、ウェアハウスシステムのテストデータにSQLクエリを記述します。SQLエディターを使用して手動で実行し、データをExcelスプレッドシートに入力して、手動で比較する必要があります。 このプロセスは時間がかかり、リソースを消費し、非効率的です。

このプロセスを自動化するためのさまざまなツールが市場で入手できます。 最も一般的なETLテストツールは、QuerySurgeとInformatica Data Validationです。

QuerySurge

QuerySurgeは、ビッグデータ、データウェアハウス、およびETLプロセスをテストするために設計されたデータテストソリューションです。 プロセス全体を自動化して、DevOps戦略にうまく適合させることができます。

QuerySurgeの主な機能は次のとおりです-

• ユーザーがSQLを作成しなくても、テストクエリペアをすばやく簡単に作成できるクエリウィザードがあります。
• 再利用可能なクエリスニペットを含むデザインライブラリがあります。 カスタムQueryPairsも作成できます。
• ソースファイルとデータストアのデータをターゲットのデータウェアハウスまたはビッグデータストアと比較できます。
• 数百万の行と列のデータを数分で比較できます。
• ユーザーは、（1）即時、（2）任意の日付/時刻、または（3）イベントの終了後に自動的に実行するテストをスケジュールできます。
• 有益なレポートを作成し、更新を表示し、結果をチームに自動メールで送信できます。

プロセス全体を自動化するには、ETLソフトウェアがロードプロセスを完了した後、コマンドラインAPIを使用してETLツールでQuerySurgeを開始する必要があります。

QuerySurgeは自動的に無人で実行され、すべてのテストを実行してからチームの全員に結果をメールで送信します。

QuerySurgeと同様に、Informatica Data ValidationはETLテストツールを提供し、開発および実稼働環境でETLテストプロセスを加速および自動化するのに役立ちます。 これにより、より短時間で完全で再現性のある監査可能なテストカバレッジを提供できます。 プログラミングスキルは必要ありません！