Dwh-process-managers
データウェアハウジング-プロセスマネージャー
プロセスマネージャは、データウェアハウスの内外へのデータの流れを維持する責任があります。 プロセスマネージャには3つの異なるタイプがあります-
- ロードマネージャー
- 倉庫マネージャー
- クエリマネージャー
データウェアハウスロードマネージャー
ロードマネージャは、データを抽出してデータベースにロードするために必要な操作を実行します。 ロードマネージャーのサイズと複雑さは、データウェアハウスごとに特定のソリューションによって異なります。
ロードマネージャーのアーキテクチャ
ロードマネージャは、次の機能を実行します-
- ソースシステムからデータを抽出します。
- 抽出したデータを一時データストアに高速でロードします。
- データウェアハウスの構造に類似した構造への簡単な変換を実行します。
ソースからデータを抽出する
データは、運用データベースまたは外部情報プロバイダーから抽出されます。 ゲートウェイは、データの抽出に使用されるアプリケーションプログラムです。 基礎となるDBMSによってサポートされ、クライアントプログラムがサーバーで実行されるSQLを生成できるようにします。 Open Database Connection（ODBC）およびJava Database Connection（JDBC）はゲートウェイの例です。
高速負荷
- 総ロード時間枠を最小限に抑えるために、データを可能な限り迅速にウェアハウスにロードする必要があります。
- 変換はデータ処理の速度に影響します。
- 変換とチェックを適用する前に、データをリレーショナルデータベースにロードする方がより効果的です。
- ゲートウェイテクノロジーは、大量のデータが含まれる場合には効率が悪いため、適していません。
単純な変換
ロード中に、単純な変換を実行する必要がある場合があります。 単純な変換を完了した後、複雑なチェックを行うことができます。 EPOS販売トランザクションをロードしていると仮定すると、次のチェックを実行する必要があります-
- ウェアハウス内で不要なすべての列を取り除きます。
- すべての値を必要なデータ型に変換します。
倉庫マネージャー
倉庫管理者は倉庫管理プロセスを担当します。 サードパーティのシステムソフトウェア、Cプログラム、およびシェルスクリプトで構成されています。 ウェアハウスマネージャーのサイズと複雑さは、特定のソリューションによって異なります。
Warehouse Managerのアーキテクチャ
倉庫管理者には以下が含まれます-
- 制御プロセス
- ストアドプロシージャまたはC with SQL
- バックアップ/リカバリツール
- SQLスクリプト
倉庫マネージャーの機能
倉庫マネージャーは、次の機能を実行します-
- データを分析して、整合性および参照整合性チェックを実行します。
- 基本データに対してインデックス、ビジネスビュー、パーティションビューを作成します。
- 新しい集計を生成し、既存の集計を更新します。
- 正規化を生成します。
- 一時ストアのソースデータを変換して、公開されたデータウェアハウスにマージします。
- データウェアハウスのデータをバックアップします。
- キャプチャされた寿命の終わりに達したデータをアーカイブします。
注-ウェアハウスマネージャーはクエリプロファイルを分析して、インデックスと集計が適切かどうかを判断します。
クエリマネージャー
クエリマネージャは、クエリを適切なテーブルに送信する責任があります。 クエリを適切なテーブルに送信することにより、クエリの要求と応答のプロセスを高速化します。 さらに、クエリマネージャーは、ユーザーによってポストされたクエリの実行をスケジュールする責任があります。
Query Managerのアーキテクチャ
クエリマネージャには、次のコンポーネントが含まれています-
- CツールまたはRDBMSを介したクエリリダイレクト
- ストアドプロシージャ
- クエリ管理ツール
- CツールまたはRDBMSを介したクエリスケジューリング
- サードパーティソフトウェアを介したクエリスケジューリング
Queryマネージャーの機能
- ユーザーに理解できる形式でデータを提示します。
- エンドユーザーによってポストされたクエリの実行をスケジュールします。
- クエリプロファイルを格納して、ウェアハウスマネージャーが適切なインデックスと集計を決定できるようにします。
