Apache Pig-コグループオペレーター

*COGROUP* 演算子は、リンク：/apache_pig/apache_pig_group_operator [GROUP]演算子とほぼ同じように機能します。 2つの演算子の唯一の違いは、 *group* 演算子は通常1つのリレーションで使用され、 *cogroup* 演算子は2つ以上のリレーションを含むステートメントで使用されることです。

Cogroupを使用した2つの関係のグループ化

以下に示すように、HDFSディレクトリ /pig_data/ に student_details.txt と employee_details.txt の2つのファイルがあると仮定します。

*student_details.txt*

001,Rajiv,Reddy,21,9848022337,Hyderabad
002,siddarth,Battacharya,22,9848022338,Kolkata
003,Rajesh,Khanna,22,9848022339,Delhi
004,Preethi,Agarwal,21,9848022330,Pune
005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar
006,Archana,Mishra,23,9848022335,Chennai
007,Komal,Nayak,24,9848022334,trivendram
008,Bharathi,Nambiayar,24,9848022333,Chennai

*employee_details.txt*

001,Robin,22,newyork
002,BOB,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London
005,David,23,Bhuwaneshwar
006,Maggy,22,Chennai

そして、以下に示すように、これらのファイルをそれぞれ student_details および employee_details という関係名でPigにロードしました。

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')
   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);

grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

次に、以下に示すように、関係 student_details および employee_details のレコード/タプルをキーの年齢でグループ化します。

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

検証

以下に示すように、 DUMP 演算子を使用してリレーション cogroup_data を確認します。

grunt> Dump cogroup_data;

出力

以下の出力が生成され、下に示すように cogroup_data という名前の関係の内容が表示されます。

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)},
   {    })
(22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },
   { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })
(23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)},
   {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)})
(24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)},
   { })
(25,{   },
   {(4,Sara,25,London)})

*cogroup* 演算子は、年齢ごとに各リレーションのタプルをグループ化し、各グループは特定の年齢値を表します。

たとえば、結果の最初のタプルを検討する場合、21歳でグループ化されます。そして、それは2つの袋が含まれています-

最初のバッグには、21歳の最初の関係（この場合は student_details ）からのすべてのタプルが含まれます。
2番目のバッグには、21歳の2番目の関係（この場合は employee_details ）からのすべてのタプルが含まれます。

関係に年齢値が21のタプルがない場合、空のバッグが返されます。

Apache-pig-cogroup-operator

Apache Pig-コグループオペレーター

Cogroupを使用した2つの関係のグループ化

検証

出力

目次