Hadoop-Varios nodos declúster

さまざまなノードの構成を確認することができます。

コモ・トド・エル・コンジャント・ノ・プエデ・セル・デモストラド、エスタモス・エクスプリカンド・ラ・ハドープ・クラスター・メディオ・アンビエント・ユーティリザンド・トレス・システマス（un maestro y dos esclavos）;継続的な、知的財産権の提示。

Hadoopマスター：192.168.1.15（hadoop-master）
Hadoopスレーブ：192.168.1.16（hadoop-slave-1）
Hadoopスレーブ：192.168.1.17（hadoop-slave-2）

Siga los pasos que se indican acontinuaciónpara que Hadoopclústerde varios nodos。

Javaのインストール

Java es el principal requisito previo para Hadoop。入門書として、Javaの既存のユーティリティ「java -version」を使用してください。 Javaバージョンのコマンドラインは継続的です。

$ java -version

Si todo funciona bien、ledaráel siguiente resultado。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

継続的なJavaのインストール、Javaのインストールが完了しました。

手順1

ダウンロードJava（JDK-X64.tar.gz）visitando el siguiente enlace http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260l

連続、 jdk-7u71-linux-x64.tar.gz からダウンロードしてください。

手順2

一般的には、ジャガイモとジャガイモのジャガイモを保存します。余分なel * jdk-7u71-linux-x64.gz * usando los siguientesコマンドを検証します。

$ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

手順3

例外的なJavaは、「/usr/local/」という一般的な質問に対応します。 Abra el root、y escriba los si guientes comandos。

$ su
password:
# mv jdk1.7.0_71/usr/local/
# exit

手順4

*ruta de acceso* y *JAVA_HOME* 変数、archivo los siguientes comandos en el archivo **〜/.bashrc **のパラメータ。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

Ahora compruebe que el java -version comando desde el terminal、como seexplicóanteriormente。 Siga el proceso anterior e instalar java en todos los nodos delclúster。

Creando una cuenta de usuario

タントエルマエストロタンエルマエストロコモエルエスクラヴォシスタマズ

# useradd hadoop
# passwd hadoop

Laasignaciónde nodos

Tiene que editar ** archivoホストとホスト名 /etc/ ホスト名とホスト名、IPアドレスとホスト名。

# vi/etc/hosts
enter the following lines in the/etc/hosts file.
192.168.1.109 hadoop-master
192.168.1.145 hadoop-slave-1
192.168.56.1 hadoop-slave-2

basada en una clave de accesoの設定

ssh en cada uno de los nodos、que pueden comunicarse entresísin pedircontraseña。

# su hadoop
$ ssh-keygen -t rsa
$ ssh-copy-id -i ~/.ssh/id_rsa.pub finddevguides@hadoop-master
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp1@hadoop-slave-1
$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop_tp2@hadoop-slave-2
$ chmod 0600 ~/.ssh/authorized_keys
$ exit

Instalar Hadoop

エル・サービドール・マエストロ、デスカルグ、インストール・ハドープ・ユーザー・アンド・ロス・シギエンテス・コマンド。

# mkdir/opt/hadoop
# cd/opt/hadoop/
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz
# tar -xzf hadoop-1.2.0.tar.gz
# mv hadoop-1.2.0 hadoop
# chown -R hadoop/opt/hadoop
# cd/opt/hadoop/hadoop/

ConfiguraciónHadoop

使用頻度の高い構成のHadoopサーバー、継続的なカムビオスの構成の継続的な使用。

core-site.xml

Abrir el * core-site.xml *archivo y editar、como se muestra acontinuación。

<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://hadoop-master:9000/</value>
   </property>
   <property>
      <name>dfs.permissions</name>
      <value>false</value>
   </property>
</configuration>

hdfs-site.xml

Abra la* hdfs-site.xml * yの連続編集の編集。

<configuration>
   <property>
      <name>dfs.data.dir</name>
      <value>/opt/hadoop/hadoop/dfs/name/data</value>
      <final>true</final>
   </property>

   <property>
      <name>dfs.name.dir</name>
      <value>/opt/hadoop/hadoop/dfs/name</value>
      <final>true</final>
   </property>

   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

mapred-site.xml

mapred-site.xml *archivo xml y editar tal y como se muestra acontinuación。

<configuration>
   <property>
      <name>mapred.job.tracker</name>
      <value>hadoop-master:9001</value>
   </property>
</configuration>

hadoop-env.sh

Abra el* hadoop-env.sh * archivo y editar JAVA_HOME、HADOOP_CONF_DIR y HADOOP_OPTS como se muestra acontinuación。

注： JAVA_HOMEの構成は、システム構成の一部です。

export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

Instalaciónde servidores esclavos Hadoop

Hadoop en todos los servidores esclavos siguiendo el recibirórdenesをインストールします。

# su hadoop
$ cd/opt/hadoop
$ scp -r hadoop hadoop-slave-1:/opt/hadoop
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

HadoopConfiguraciónen el servidor maestro

Abra el servidor maestro y configurar siguiendo el recibirórdenes。

# su hadoop
$ cd/opt/hadoop/hadoop

Configurar Nodoマエストロ

$ vi etc/hadoop/masters
hadoop-master

Configurar Nodo secundario

$ vi etc/hadoop/slaves
hadoop-slave-1
hadoop-slave-2

Nombre de formato nodo maestro sobre Hadoop

# su hadoop
$ cd/opt/hadoop/hadoop
$ bin/hadoop namenode –format

11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG:/*********************************************************** *
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = hadoop-master/192.168.1.109
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.0
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013
STARTUP_MSG: java = 1.7.0_71* ***********************************************************/11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory/opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode:
SHUTDOWN_MSG:/*********************************************************** *SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15* ***********************************************************/

Hadoop Inicio Servicios

エルコマンドは、Hadoopのマスターサービスを提供しています。

$ cd $HADOOP_HOME/sbin
$ start-all.sh

Hadoopクラスターのデータノードの集計

継続的に、プレゼンタンスロスパソス、セギールパラアグリガーヌエボスノドス、アンクラスターハドープ。

レデス

Agregar nuevos nodosは、赤の通信相手であるHadoopの存在を示しています。赤の構成を確認してください。

パラヌエバの構成：

IP address : 192.168.1.103
netmask : 255.255.255.0
hostname : slave3.in

SSHの集計

Agregar un usuario

ヌエボヌエボについては、「hadoop」usuarioと「hadoop usuario」「hadoop123」の集合体があります。

useradd hadoop
passwd hadoop

コントラセニャ・デ・コンフィグラシオン・メナー・コネクティビダッド・デス・デ・エル・マエストロ・アル・ヌエボ・エスクラヴォ

Ejecute el siguiente en el master

mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub hadoop@192.168.1.103:/home/hadoop/

Ejecute el siguiente de los esclavos

Iniciarsesiónen hadoop。 Si no esasí、iniciesesiónen hadoop usuario。

su hadoop ssh -X hadoop@192.168.1.103

アーカイブされたドキュメントのコピー "$ HOME/.ssh/authorized_keys" y、継続、カンビアエルペルミソデルミスモエジェクタントエルシギエンテコマンド。

cd $HOME
mkdir -p $HOME/.ssh
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys
chmod 644 $HOME/.ssh/authorized_keys

マキナマエストラへのsshのログイン。 Ahora compruebe si puede ssh al nuevo nodo sin unacontraseñadel maestro。

ssh hadoop@192.168.1.103 or hadoop@slave3

Configurer nombre de host del nodo nuevo

ホスト向けの構成設定* /etc/sysconfig/network *

On new slave3 machine
NETWORKING=yes
HOSTNAME=slave3.in

パラケロロスカンビオススルタンエフェクト、レイニーエルエクイポオコマンドホスト名a un nuevo equipo con el respectivo nombre de reiniciar es una buenaopción）。

El esclavo3 equipo de nodo：

ホスト名slave3.in

Actualizar el archivo* /etc/hosts * en todas lasmáquinasdelclústercon laslíneassiguientes：

192.168.1.102 slave3.in slave3

アホラ、ホストパラコンプローバーのホスト名にIPアドレスを入力します。

En el nuevo equipo de nodo：

ping master.in

Nuevo NodoでのDataNodeの初期化

demonio datanodeマニュアルの中央値* $ HADOOP_HOME/bin/hadoop-daemon.shスクリプト*。連絡先の自動管理（NameNode）およびその他のクラスの自動化。 Tambiéndebemosañadirel nuevo nodo al archivo conf/esclavos en el servidor maestro。 La secuencia de comandos se sereconoceráel nuevo nodo。

Iniciarsesiónen nuevo nodo

su hadoop or ssh -X hadoop@192.168.1.103

Inicio HDFS en un nodo secundarioreciénagregado mediante el siguiente comando

./bin/hadoop-daemon.sh start datanode

La salida de jps comando en un nodo nuevo。シギエンテマネラ。

$ jps
7141 DataNode
10312 Jps

HadoopクラスターのDataNodeの外部

Podemos eliminar un nodo de unclústersobre la marcha、mientras seestáejecutando、sin ningunapérdidade datos。 HDFScaracterísticaproporciona una clausura、el cual asegura que eliminar un nodo se lleva a cabo en forma segura。連続して使用できる機能、継続的なアプリケーションの作成：

手順1：マスターのIniciarsesión

司会者は、マキナ・ドンデ・ハドープ・エスタ・インスタラードのマスターを獲得しました。

$ su hadoop

手順2：Cambiarconfiguracióndeclúster

El excluir archivo debe estar configurado antes de iniciar elclúster。 Adfar una clave con nombre dfs.hosts.excluir a nuestro $ HADOOP_HOME/etc/hadoop/hdfs-site.xml 。 El Valor asociado a la clave ofrece la ruta de acceso completa un un Archivo en el NameNode local del sistema de archivos que contiene una lista de lasmáquinasque noestánautorizados a conectarse a HDFS。

ejemploによって、agregar las siguienteslíneasal etc/hadoop/hdfs sitio.xml 。

<property>
   <name>dfs.hosts.exclude</name>
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value>
   <description>DFS exclude</description>
</property>

手順3：決定的ロスホストパラレティラー

Lada una de lasmáquinasque se van a desmantelar se debe agregar en el archivo identificado por el hdfs_exclude.txt、uno de los nombres de dominio porlínea。 NameNodeの接続の障害を回避します。 El contenido del * "/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt" *archivo se muestra acontinuación、si desea eliminar DataNode2

slave2.in

手順4：カーガ構成のフエルザ

Escute el comando* "$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes" *las comillasで。

$ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

Estoharáque el NameNode volver a leer laconfiguración、incluyendo el recientemente actualizado "excluye" archivo。ティエンポのレティラロスノドス、およびカナダのレプリカのアンペリオドデティエンポに行けます。

En* slave2.in *、verificar la jps salida de comando。アルゴリズムの実装、データノードの自動検証、およびデータノードの検証。

手順5：アパガーロスノドス

レティラーダセッテデコンパスド、エルハードウェアプエデセルレティラーダコンセグリダードセラードポルマンテニミエントなどがあります。 Ejecute el comando deは、dfsadmin para comprobar el estado de retiradaに通知します。エル・シギエンテ・コマンドは、エル・ノスド・デ・ロス・ノドスとレティラー・ロス・ノドス・コンネクタドス・インストルメント・パネルについて説明しています

$ $HADOOP_HOME/bin/hadoop dfsadmin -report

手順6：ヌエボを除く編集者

Una vez que lasmáquinashan sido clausuradas、se pueden retirar de la "excluye" archivo。 「$ HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes」ネームノードを削除します。 DataNodesは、端末の保守、端末の管理、ネットワークの管理などを行うことができます。

特記事項：*前処理と前処理とタスクトラッカー処理後処理と処理、および必要な処理。前方のマキナ・コモ・ヒチモス・アン・デ・ハセルロ・エス・パラ・デスコネクターエルマエストロは、手続きの自動化と宣言を行います。 DataTrackの重要なコンポーネントとタスクトラッカの特別な手順は必要ありません。 DataNodeは、セガシンニンニャデルデタトスの公式のデータセンターです。

タスクトラッカーは、モスカコンエルシギエンテコマンドとクアルキエモメンタのシャットダウン/シャットダウンを行います。

$ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker

Es-hadoop-hadoop-multi-node-cluster