Apache-pig-join-operator
Apache Pig-結合演算子
- 自己結合
- 内部結合
- 外部結合-左結合、右結合、および完全結合
この章では、Pig Latinで結合演算子を使用する方法を例で説明します。 以下に示すように、HDFSの /pig_data/ ディレクトリに customers.txt と orders.txt の2つのファイルがあると仮定します。
そして、以下に示すように、これらの2つのファイルを customers および orders の関係でPigにロードしました。
これら2つのリレーションに対してさまざまなJoin操作を実行してみましょう。
自己参加
一般的に、Apache Pigでは、自己結合を実行するために、異なるエイリアス(名前)で同じデータを複数回ロードします。 したがって、ファイル customers.txt の内容を以下に示す2つのテーブルとしてロードします。
構文
以下に示すのは、 JOIN 演算子を使用して*自己結合*操作を実行する構文です。
例
以下に示すように、2つのリレーション customers1 および customers2 を結合することにより、リレーション customers で*自己結合*操作を実行しましょう。
検証
以下に示すように、 DUMP 演算子を使用してリレーション customers3 を確認します。
出力
リレーション customers の内容を表示する次の出力を生成します。
内部結合
内部結合*は非常に頻繁に使用されます。 *equijoin とも呼ばれます。 内部結合は、両方のテーブルに一致する行を返します。
結合述語に基づいて2つのリレーション(AとBなど)の列の値を組み合わせて、新しいリレーションを作成します。 クエリは、Aの各行をBの各行と比較して、結合述部を満たす行のすべてのペアを見つけます。 join-predicateが満たされると、AとBの行の各一致ペアの列値が結果行に結合されます。
構文
例
以下に示すように、 customers と orders の2つのリレーションに対して inner join 操作を実行してみましょう。
検証
以下に示すように、 DUMP 演算子を使用してリレーション coustomer_orders を確認します。
出力
注-
Outer Join:内部結合とは異なり、*外部結合*は少なくとも1つのリレーションからすべての行を返します。 外部結合操作は3つの方法で実行されます-
- 左外部結合
- 右外部結合
- 完全外部結合
左外部結合
- 左外部結合*操作は、右のリレーションに一致するものがない場合でも、左のテーブルからすべての行を返します。
構文
以下に示すのは、 JOIN 演算子を使用して*左外部結合*操作を実行する構文です。
例
以下に示すように、2つのリレーションの顧客と注文に対して左外部結合操作を実行しましょう。
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_left を確認します。
出力
リレーション outer_left の内容を表示する次の出力を生成します。
右外部結合
- 右外部結合*操作は、左のテーブルに一致するものがない場合でも、右のテーブルからすべての行を返します。
構文
以下に示すのは、 JOIN 演算子を使用して*右外部結合*操作を実行する構文です。
例
以下に示すように、2つのリレーションシップ customers および orders で*右外部結合*操作を実行します。
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_right を確認します。
出力
次の出力が生成され、リレーション outer_right の内容が表示されます。
フル外部結合
構文
以下は、 JOIN 演算子を使用して*完全外部結合*を実行する構文です。
例
以下に示すように、2つのリレーションシップ customers および orders で*完全外部結合*操作を実行します。
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_full を確認します。
出力
次の出力が生成され、リレーション outer_full の内容が表示されます。
複数のキーを使用する
複数のキーを使用してJOIN操作を実行できます。
構文
複数のキーを使用して2つのテーブルでJOIN操作を実行する方法を次に示します。
以下に示すように、HDFSの /pig_data/ ディレクトリに employee.txt と employee_contact.txt の2つのファイルがあると仮定します。
そして、以下に示すように、これら2つのファイルを employee および employee_contact の関係でPigにロードしました。
次に、以下に示す JOIN 演算子を使用して、これら2つのリレーションのコンテンツを結合します。
検証
以下に示すように、 DUMP 演算子を使用して、リレーション emp を確認します。
出力
次の出力が生成され、下に示すように emp という名前の関係の内容が表示されます。