Apache-pig-distinct-operator
提供:Dev Guides
Apache Pig-個別のオペレーター
構文
以下に、 DISTINCT 演算子の構文を示します。
例
以下に示すように、HDFSディレクトリ /pig_data/ に student_details.txt という名前のファイルがあると仮定します。
そして、以下に示すように、このファイルをリレーション名 student_details でPigにロードしました。
次に、 DISTINCT 演算子を使用して student_details という名前のリレーションから冗長(重複)タプルを削除し、以下に示すように distinct_data という名前の別のリレーションとして保存します。
検証
以下に示すように、 DUMP 演算子を使用して、リレーション distinct_data を確認します。
出力
次の出力が生成され、リレーション distinct_data の内容が次のように表示されます。