Apache-pig-plucktuple

Apache Pig-PluckTuple（）

結合などの操作を実行して2つのスキーマの列を区別した後、関数* PluckTuple（）*を使用します。 この関数を使用するには、まず文字列Prefixを定義し、その接頭辞で始まるリレーションの列をフィルタリングする必要があります。

構文

以下に、* PluckTuple（）*関数の構文を示します。

DEFINE pluck PluckTuple(expression1)
DEFINE pluck PluckTuple(expression1,expression3)
pluck(expression2)

例

HDFSディレクトリ /pig_data/ に emp_sales.txt と emp_bonus.txt の2つのファイルがあるとします。 emp_sales.txt には営業部門の従業員の詳細が含まれ、 emp_bonus.txt にはボーナスを受け取った従業員の詳細が含まれます。

*emp_sales.txt*

1,Robin,22,25000,sales
2,BOB,23,30000,sales
3,Maya,23,25000,sales
4,Sara,25,40000,sales
5,David,23,45000,sales
6,Maggy,22,35000,sales

*emp_bonus.txt*

1,Robin,22,25000,sales
2,Jaya,23,20000,admin
3,Maya,23,25000,sales
4,Alia,25,50000,admin
5,David,23,45000,sales
6,Omar,30,30000,admin

そして、これらのファイルを、それぞれ emp_sales および emp_bonus というリレーション名でPigにロードしました。

grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
   as (sno:int, name:chararray, age:int, salary:int, dept:chararray);

以下に示すように、 join 演算子を使用してこれら2つの関係を結合します。

grunt> join_data = join emp_sales by sno, emp_bonus by sno;

*Dump* 演算子を使用して、リレーション *join_data* を確認します。

grunt> Dump join_data;

(1,Robin,22,25000,sales,1,Robin,22,25000,sales)
(2,BOB,23,30000,sales,2,Jaya,23,20000,admin)
(3,Maya,23,25000,sales,3,Maya,23,25000,sales)
(4,Sara,25,40000,sales,4,Alia,25,50000,admin)
(5,David,23,45000,sales,5,David,23,45000,sales)
(6,Maggy,22,35000,sales,6,Omar,30,30000,admin)

PluckTuple（）関数を使用する

ここで、* PluckTupe（）*関数を使用して列を区別するために必要な式を定義します。

grunt> DEFINE pluck PluckTuple('a::');

以下に示すように、 join_data 関係の列をフィルターします。

grunt> data = foreach join_data generate FLATTEN(pluck(*));

以下に示すように、 data という名前の関係を記述します。

grunt> Describe data;

data: {emp_sales::sno: int, emp_sales::name: chararray, emp_sales::age: int,
   emp_sales::salary: int, emp_sales::dept: chararray, emp_bonus::sno: int,
   emp_bonus::name: chararray, emp_bonus::age: int, emp_bonus::salary: int,
   emp_bonus::dept: chararray}

式を*“ a

:” として定義したため、 *emp_sales スキーマの列は *emp_sales

column name* として取り出され、 emp_bonus スキーマの列は* emp_bonus :: columnとして取り出されます。名*