Hadoop-command-reference

Hadoop-コマンドリファレンス

*"$ HADOOP_HOME/bin/hadoop fs"* には、ここに示されているよりも多くのコマンドがありますが、これらの基本的な操作で開始できます。 追加の引数なしで./bin/hadoop dfsを実行すると、FsShellシステムで実行できるすべてのコマンドがリストされます。 さらに、 *$ HADOOP_HOME/bin/hadoop fs -help* commandNameは、スタックしている場合、問題の操作の短い使用状況の要約を表示します。

すべての操作の表を以下に示します。 次の規則がパラメータに使用されます-

"<path>" means any file or directory name.
"<path>..." means one or more file or directory names.
"<file>" means any filename.
"<src>" and "<dest>" are path names in a directed operation.
"<localSrc>" and "<localDest>" are paths as above, but on the local file system.

他のすべてのファイルとパス名は、HDFS内のオブジェクトを参照します。

Sr.No	Command & Description
1	-ls <path> パスで指定されたディレクトリの内容を一覧表示し、各エントリの名前、権限、所有者、サイズ、変更日を表示します。
2	-lsr <path> -lsのように動作しますが、パスのすべてのサブディレクトリのエントリを再帰的に表示します。
3	-du <path> パスに一致するすべてのファイルのディスク使用量をバイト単位で表示します。ファイル名は完全なHDFSプロトコルプレフィックスで報告されます。
4	-dus <path> -duに似ていますが、パス内のすべてのファイル/ディレクトリのディスク使用量の概要を出力します。
5	-mv <src><dest> srcで示されるファイルまたはディレクトリをHDFS内のdestに移動します。
6	-cp <src> <dest> srcで識別されたファイルまたはディレクトリをHDFS内のdestにコピーします。
7	-rm <path> パスで識別されるファイルまたは空のディレクトリを削除します。
8	-rmr <path> パスで識別されるファイルまたはディレクトリを削除します。 子エントリ（つまり、パスのファイルまたはサブディレクトリ）を再帰的に削除します。
9	-put <localSrc> <dest> localSrcによって識別されたローカルファイルシステムからファイルまたはディレクトリをDFS内のdestにコピーします。
10	-copyFromLocal <localSrc> <dest> -putと同じ
11	-moveFromLocal <localSrc> <dest> localSrcによって識別されたローカルファイルシステムからHDFS内のdestにファイルまたはディレクトリをコピーし、成功時にローカルコピーを削除します。
12	-get [-crc] <src> <localDest> srcで識別されるHDFSのファイルまたはディレクトリを、localDestで識別されるローカルファイルシステムパスにコピーします。
13	-getmerge <src> <localDest> HDFSのパスsrcに一致するすべてのファイルを取得し、localDestによって識別されるローカルファイルシステム内の単一のマージされたファイルにコピーします。
14	-cat <filen-ame> ファイル名の内容を標準出力に表示します。
15	-copyToLocal <src> <localDest> -getと同じ
16	-moveToLocal <src> <localDest> -getと同様に機能しますが、成功するとHDFSコピーを削除します。
17	-mkdir <path> HDFSにpathという名前のディレクトリを作成します。 欠落しているパスに親ディレクトリを作成します（Linuxの場合、mkdir -pなど）。
18	-setrep [-R] [-w] rep <path> repへのパスで識別されるファイルのターゲット複製係数を設定します。 （実際の複製係数は、時間の経過とともにターゲットに向かって移動します）
19	-touchz <path> タイムスタンプとして現在の時刻を含むパスにファイルを作成します。 ファイルがすでにサイズ0でない限り、ファイルがパスに既に存在する場合は失敗します。
20	-test -[ezd] <path> パスが存在する場合は1を返します。長さがゼロです。またはディレクトリまたはそれ以外の場合は0です。
21	-stat [format] <path> パスに関する情報を出力します。 形式は、ブロック単位のファイルサイズ（％b）、ファイル名（％n）、ブロックサイズ（％o）、複製（％r）、および変更日（％y、％Y）を受け入れる文字列です。
22	-tail [-f] <file2name> stdoutの最後の1KBのファイルを表示します。
23	-chmod [-R] mode,mode,…​ <path>…​ パスで識別される1つ以上のオブジェクトに関連付けられたファイル許可を変更します。…​ Rで再帰的に変更を実行します。 modeは3桁の8進数モード、または\ {augo} +/- \ {rwxX}です。 スコープが指定されておらず、umaskを適用しない場合を想定しています。
24	-chown [-R] [owner][:[group]] <path>…​ パスで識別されるファイルまたはディレクトリの所有ユーザーおよび/またはグループを設定します。 -Rが指定されている場合、所有者を再帰的に設定します。
25	-chgrp [-R] group <path>…​ パスで識別されるファイルまたはディレクトリの所有グループを設定します…​ -Rが指定されている場合、グループを再帰的に設定します。
26	-help <cmd-name> 上記のコマンドのいずれかの使用情報を返します。 cmdの先頭の「-」文字を省略する必要があります。