Hadoop-hdfs-operations

Hadoop-HDFSオペレーション

HDFSの開始

最初に、構成済みのHDFSファイルシステムをフォーマットし、namenode（HDFSサーバー）を開いて、次のコマンドを実行する必要があります。

$ hadoop namenode -format

HDFSをフォーマットした後、分散ファイルシステムを起動します。 次のコマンドは、ネームノードとデータノードをクラスターとして起動します。

$ start-dfs.sh

HDFSのファイルのリスト

サーバーに情報を読み込んだ後、 ’ls’ を使用して、ディレクトリ内のファイルのリスト、ファイルのステータスを確認できます。 以下に、ディレクトリまたはファイル名に引数として渡すことができる ls の構文を示します。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

HDFSへのデータの挿入

ローカルシステムのfile.txtというファイルにデータがあり、hdfsファイルシステムに保存する必要があるとします。 以下の手順に従って、Hadoopファイルシステムに必要なファイルを挿入します。

ステップ1

入力ディレクトリを作成する必要があります。

$ $HADOOP_HOME/bin/hadoop fs -mkdir/user/input

ステップ2

putコマンドを使用して、ローカルシステムからHadoopファイルシステムにデータファイルを転送および保存します。

$ $HADOOP_HOME/bin/hadoop fs -put/home/file.txt/user/input

ステップ3

lsコマンドを使用してファイルを確認できます。

$ $HADOOP_HOME/bin/hadoop fs -ls/user/input

HDFSからのデータの取得

*outfile* というファイルがHDFSにあるとします。 以下は、必要なファイルをHadoopファイルシステムから取得するための簡単なデモです。

ステップ1

最初に、 cat コマンドを使用してHDFSからデータを表示します。

$ $HADOOP_HOME/bin/hadoop fs -cat/user/output/outfile

ステップ2

*get* コマンドを使用して、HDFSからローカルファイルシステムにファイルを取得します。

$ $HADOOP_HOME/bin/hadoop fs -get/user/output//home/hadoop_tp/

HDFSのシャットダウン

次のコマンドを使用して、HDFSをシャットダウンできます。

$ stop-dfs.sh