Apache-pig-handling-compression

Apache Pig-圧縮の処理

関数* BinStorage（）および TextLoader（）*を使用して、Apache Pigに圧縮データをロードおよび保存できます。

例

HDFSディレクトリ /pigdata/ に employee.txt.zip という名前のファイルがあるとします。 次に、以下に示すように、圧縮ファイルをpigにロードできます。

Using PigStorage:

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(',');

Using TextLoader:

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

同様に、以下に示すように、圧縮ファイルをpigに保存できます。

Using PigStorage:

grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');