Apache-pig-handling-compression

提供:Dev Guides
2020年6月23日 (火) 12:19時点におけるMaintenance script (トーク | 投稿記録)による版 (Imported from text file)
(差分) ← 古い版 | 最新版 (差分) | 新しい版 → (差分)
移動先:案内検索

Apache Pig-圧縮の処理

関数* BinStorage()および TextLoader()*を使用して、Apache Pigに圧縮データをロードおよび保存できます。

HDFSディレクトリ /pigdata/employee.txt.zip という名前のファイルがあるとします。 次に、以下に示すように、圧縮ファイルをpigにロードできます。

Using PigStorage:

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(',');

Using TextLoader:

grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;

同様に、以下に示すように、圧縮ファイルをpigに保存できます。

Using PigStorage:

grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');