Map-reduce-hadoop-administration
MapReduce-Hadoop管理
この章では、HDFS管理とMapReduce管理の両方を含むHadoop管理について説明します。
- HDFS管理には、HDFSファイル構造、場所、および更新されたファイルの監視が含まれます。
- MapReduceの管理には、アプリケーションのリスト、ノードの構成、アプリケーションのステータスなどの監視が含まれます。
HDFSモニタリング
HDFS（Hadoop Distributed File System）には、ユーザーディレクトリ、入力ファイル、および出力ファイルが含まれています。 保存および取得には、MapReduceコマンド put および get を使用します。
「/$ HADOOP_HOME/sbin」でコマンド「start-all.sh」を渡してHadoopフレームワーク（デーモン）を起動した後、次のURLをブラウザー「http：//localhost：50070」に渡します。 ブラウザに次の画面が表示されます。
次のスクリーンショットは、ブラウズHDFSをブラウズする方法を示しています。
次のスクリーンショットは、HDFSのファイル構造を示しています。 「/user/hadoop」ディレクトリ内のファイルが表示されます。
次のスクリーンショットは、クラスター内のデータノード情報を示しています。 ここで、1つのノードとその構成と容量を見つけることができます。
MapReduceジョブ監視
MapReduceアプリケーションは、ジョブ（Mapジョブ、Combiner、Partitioner、およびReduceジョブ）のコレクションです。 以下を監視し、維持することが必須です-
- アプリケーションが適しているデータノードの構成。
- アプリケーションごとに使用されるデータノードとリソースの数。
これらすべてを監視するには、ユーザーインターフェイスが必要です。 「/$ HADOOP_HOME/sbin」でコマンド「start-all.sh」を渡してHadoopフレームワークを開始した後、次のURLをブラウザー「http：//localhost：8080」に渡します。 ブラウザに次の画面が表示されます。
上記のスクリーンショットでは、ハンドポインターはアプリケーションID上にあります。 クリックするだけで、ブラウザで次の画面が表示されます。 以下について説明します-
- 現在のアプリケーションが実行されているユーザー
- アプリケーション名
- そのアプリケーションのタイプ
- 現在のステータス、最終ステータス
- 監視時に完了した場合は、アプリケーションの開始時間、経過（完了時間）
- このアプリケーションの履歴、つまりログ情報
- 最後に、ノード情報、つまりアプリケーションの実行に参加したノード。
次のスクリーンショットは、特定のアプリケーションの詳細を示しています-
次のスクリーンショットは、現在実行中のノード情報を説明しています。 ここで、スクリーンショットには1つのノードのみが含まれています。 ハンドポインターは、実行中のノードのローカルホストアドレスを示します。
