Apache-pig-join-operator
Apache Pig-結合演算子
*JOIN* 演算子は、2つ以上のリレーションのレコードを結合するために使用されます。 結合操作の実行中に、各リレーションから1つ(またはグループ)のタプルをキーとして宣言します。 これらのキーが一致すると、2つの特定のタプルが一致します。一致しない場合、レコードは削除されます。 結合は次のタイプにすることができます-
- 自己結合
- 内部結合
- 外部結合-左結合、右結合、および完全結合
この章では、Pig Latinで結合演算子を使用する方法を例で説明します。 以下に示すように、HDFSの /pig_data/ ディレクトリに customers.txt と orders.txt の2つのファイルがあると仮定します。
*customers.txt*
1,Ramesh,32,Ahmedabad,2000.00
2,Khilan,25,Delhi,1500.00
3,kaushik,23,Kota,2000.00
4,Chaitali,25,Mumbai,6500.00
5,Hardik,27,Bhopal,8500.00
6,Komal,22,MP,4500.00
7,Muffy,24,Indore,10000.00
*orders.txt*
102,2009-10-08 00:00:00,3,3000
100,2009-10-08 00:00:00,3,1500
101,2009-11-20 00:00:00,2,1560
103,2008-05-20 00:00:00,4,2060
そして、以下に示すように、これらの2つのファイルを customers および orders の関係でPigにロードしました。
grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')
as (oid:int, date:chararray, customer_id:int, amount:int);
これら2つのリレーションに対してさまざまなJoin操作を実行してみましょう。
自己参加
*Self-join* は、テーブルが2つのリレーションであるかのようにテーブルをそれ自身と結合するために使用され、少なくとも1つのリレーションを一時的に名前変更します。
一般的に、Apache Pigでは、自己結合を実行するために、異なるエイリアス(名前)で同じデータを複数回ロードします。 したがって、ファイル customers.txt の内容を以下に示す2つのテーブルとしてロードします。
grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')
as (id:int, name:chararray, age:int, address:chararray, salary:int);
構文
以下に示すのは、 JOIN 演算子を使用して*自己結合*操作を実行する構文です。
grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;
例
以下に示すように、2つのリレーション customers1 および customers2 を結合することにより、リレーション customers で*自己結合*操作を実行しましょう。
grunt> customers3 = JOIN customers1 BY id, customers2 BY id;
検証
以下に示すように、 DUMP 演算子を使用してリレーション customers3 を確認します。
grunt> Dump customers3;
出力
リレーション customers の内容を表示する次の出力を生成します。
(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)
(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)
(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)
(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)
(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)
(6,Komal,22,MP,4500,6,Komal,22,MP,4500)
(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)
内部結合
内部結合*は非常に頻繁に使用されます。 *equijoin とも呼ばれます。 内部結合は、両方のテーブルに一致する行を返します。
結合述語に基づいて2つのリレーション(AとBなど)の列の値を組み合わせて、新しいリレーションを作成します。 クエリは、Aの各行をBの各行と比較して、結合述部を満たす行のすべてのペアを見つけます。 join-predicateが満たされると、AとBの行の各一致ペアの列値が結果行に結合されます。
構文
*JOIN* 演算子を使用して*内部結合*操作を実行する構文を次に示します。
grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;
例
以下に示すように、 customers と orders の2つのリレーションに対して inner join 操作を実行してみましょう。
grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;
検証
以下に示すように、 DUMP 演算子を使用してリレーション coustomer_orders を確認します。
grunt> Dump coustomer_orders;
出力
*coustomer_orders* という名前のリレーションの内容を含む次の出力が得られます。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
注-
Outer Join:内部結合とは異なり、*外部結合*は少なくとも1つのリレーションからすべての行を返します。 外部結合操作は3つの方法で実行されます-
- 左外部結合
- 右外部結合
- 完全外部結合
左外部結合
- 左外部結合*操作は、右のリレーションに一致するものがない場合でも、左のテーブルからすべての行を返します。
構文
以下に示すのは、 JOIN 演算子を使用して*左外部結合*操作を実行する構文です。
grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;
例
以下に示すように、2つのリレーションの顧客と注文に対して左外部結合操作を実行しましょう。
grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_left を確認します。
grunt> Dump outer_left;
出力
リレーション outer_left の内容を表示する次の出力を生成します。
(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)
右外部結合
- 右外部結合*操作は、左のテーブルに一致するものがない場合でも、右のテーブルからすべての行を返します。
構文
以下に示すのは、 JOIN 演算子を使用して*右外部結合*操作を実行する構文です。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
例
以下に示すように、2つのリレーションシップ customers および orders で*右外部結合*操作を実行します。
grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_right を確認します。
grunt> Dump outer_right
出力
次の出力が生成され、リレーション outer_right の内容が表示されます。
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
フル外部結合
*full outer join* 操作は、リレーションのいずれかに一致する行を返します。
構文
以下は、 JOIN 演算子を使用して*完全外部結合*を実行する構文です。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
例
以下に示すように、2つのリレーションシップ customers および orders で*完全外部結合*操作を実行します。
grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;
検証
以下に示すように、 DUMP 演算子を使用して、関係 outer_full を確認します。
grun> Dump outer_full;
出力
次の出力が生成され、リレーション outer_full の内容が表示されます。
(1,Ramesh,32,Ahmedabad,2000,,,,)
(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)
(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)
(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)
(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)
(5,Hardik,27,Bhopal,8500,,,,)
(6,Komal,22,MP,4500,,,,)
(7,Muffy,24,Indore,10000,,,,)
複数のキーを使用する
複数のキーを使用してJOIN操作を実行できます。
構文
複数のキーを使用して2つのテーブルでJOIN操作を実行する方法を次に示します。
grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);
以下に示すように、HDFSの /pig_data/ ディレクトリに employee.txt と employee_contact.txt の2つのファイルがあると仮定します。
*employee.txt*
001,Rajiv,Reddy,21,programmer,003
002,siddarth,Battacharya,22,programmer,003
003,Rajesh,Khanna,22,programmer,003
004,Preethi,Agarwal,21,programmer,003
005,Trupthi,Mohanthy,23,programmer,003
006,Archana,Mishra,23,programmer,003
007,Komal,Nayak,24,teamlead,002
008,Bharathi,Nambiayar,24,manager,001
*employee_contact.txt*
001,9848022337,[email protected],Hyderabad,003
002,9848022338,[email protected],Kolkata,003
003,9848022339,[email protected],Delhi,003
004,9848022330,[email protected],Pune,003
005,9848022336,[email protected],Bhuwaneshwar,003
006,9848022335,[email protected],Chennai,003
007,9848022334,[email protected],trivendram,002
008,9848022333,[email protected],Chennai,001
そして、以下に示すように、これら2つのファイルを employee および employee_contact の関係でPigにロードしました。
grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')
as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);
grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',')
as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);
次に、以下に示す JOIN 演算子を使用して、これら2つのリレーションのコンテンツを結合します。
grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);
検証
以下に示すように、 DUMP 演算子を使用して、リレーション emp を確認します。
grunt> Dump emp;
出力
次の出力が生成され、下に示すように emp という名前の関係の内容が表示されます。
(1,Rajiv,Reddy,21,programmer,113,1,9848022337,[email protected],Hyderabad,113)
(2,siddarth,Battacharya,22,programmer,113,2,9848022338,[email protected],Kolka ta,113)
(3,Rajesh,Khanna,22,programmer,113,3,9848022339,[email protected],Delhi,113)
(4,Preethi,Agarwal,21,programmer,113,4,9848022330,[email protected],Pune,113)
(5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,[email protected],Bhuwaneshw ar,113)
(6,Archana,Mishra,23,programmer,113,6,9848022335,[email protected],Chennai,113)
(7,Komal,Nayak,24,teamlead,112,7,9848022334,[email protected],trivendram,112)
(8,Bharathi,Nambiayar,24,manager,111,8,9848022333,[email protected],Chennai,111)