Es-hadoop-hadoop-enviornment-setup

提供：Dev Guides
移動先:案内、検索

Hadoop-ConfiguraciónEntorno

Hadoopには互換性のあるGNU/Linuxの互換性があります。 tantoによって、テネモスは、システム全体のLinuxの設定と、Hadoopメディオアンビエントをインストールします。 テンカと海のLinuxを統合し、ソフトウェアと仮想ボックスをインストールしました。

事前設定の設定

Linuxのインストール、Linuxの設定、Linuxの設定、およびSSH（Secure Shell）。 Linux向けの継続的な設定を行うことができます。

Creaciónde un usuario

原則として、Hadoopの使用法、Hadoopの使用法、Hadoopの使用法、Unixの保存法について説明します。 シガ・ロス・パソス・ク・セ・インディカンは連続したパラ・クレアであり、

  • Abra el usuario root utilizando el comando "su"。
  • ルートコンエルコマンドを使用してユーザー設定を作成します。
  • Ahora puede abrir una cuenta de usuario presentente mediante el comando "su nombre"。

Linuxの端末については、ユーザーマニュアルを参照してください。 

$ su
   password:
# useradd hadoop
# passwd hadoop
   New passwd:
   Retype new passwd

SSHのクラスの構成

設定が必要であり、分散デーモンのシェルシェル操作を検出するために、SSHを使用してSSHを再設定する必要があります。 Hadoopの違いは、Hadoopとcompusirla con los usuariosの両方の使用に適しています。

ロスは、SSHの標準的なパラメーターを使用します。 Copiar las clavespúblicasfor id_rsa.pub a authorized_keys、y proporcionar el titular、con permisos de lectura y escritura al archivo authorized_keys、respectivamente。 

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

Javaのインストール

Java es el principal requisito previo para Hadoop。 入門書として、Javaの存在を理解するための「java -version」という概念があります。 Javaバージョンのコマンドラインは継続的です。 

$ java -version

Si todoestáen orden、se ledaráel siguiente resultado。 

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

継続的、継続的、継続的、継続的なパラインスタラーJavaのインストールが必要です。

手順1

ダウンロードJava（JDK <最新バージョン>-X64.tar.gz）visitando el siguiente enlace http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads1880260l。

続き、jdk-7u71-linux-x64.tar.gzをダウンロードしてください。

手順2

一般的には、ジャガイモとジャガイモのジャガイモを保存します。 特別なjdk-7u71-linux-x64.gzを追加しました。 

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71   jdk-7u71-linux-x64.gz

手順3

例外的なJavaは、「/usr/local/」という一般的な質問に対応します。 Abrir root、y escriba los siguientes comandos。 

$ su
password:
# mv jdk1.7.0_71/usr/local/
# exit

手順4

JAVA_HOME変数の構成、パラメータの設定、パラメータの設定、および〜/.bashrc 

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

Ahora compruebe que el java -versionコマンドターミナル、comcom seexplicóanteriormente。

デスカルガー・ハドープ

追加のHadoop 2.4.1は、Apacheソフトウェアの基礎として使用されています。 

$ su
password:
# cd/usr/local
# wget http://apache.claz.org/hadoop/common/hadoop-2.4.1/
hadoop-2.4.1.tar.gz
# tar xzf hadoop-2.4.1.tar.gz
# mv hadoop-2.4.1/* to hadoop/
# exit

Hadoop Modos de funcionamiento

Una vez que hayasダウンロードHadoop、Puede utilizar el Hadoop cluster en uno de los tres modos admitidos：

  • * Local/Modoautónomo*：独立したHadoopのインストール、defectoのインポート、modの独立した設定、独立した処理、Javaのソロの設定。
  • Pseudo Modo Distribuido ：es unasimulacióndistribuida en una solamáquina。 Cada demonio como Hadoop hdfs、hilados、MapReduceなど 、Javaの独立したコマンドを実行します。 エステモードは、エルデサルロロにあります。
  • Modo Totalmente Distribuida ：ディストリビューションのリストを作成します。 また、カポテュロスの詳細を参照してください。

Hadoop en modoautónomoのインストール

*Hadoop 2.4.1* およびmodoautónomoのインストールの詳細

いいえ干し草悪魔とトドse ejecuta en una sola。 最新のプログラムは、MapReduce durante el desarrollo、ya que esfácilde probar y depurar el sistema。

Configuraciónde Hadoop

Puede establecer las variables de entorno Hadoop anexar los siguientes comandos para 〜/.bashrc archivo。 

export HADOOP_HOME=/usr/local/hadoop

Antes de seguir adelante、usted necesita asegurarse de que Hadoopestátrabajando bien。 Sólohay que utilizar el comando siguiente： 

$ hadoop version

構成、継続、設定結果を使用した結果： 

Hadoop 2.4.1
Subversion https://svn.apache.org/repos/asf/hadoop/common -r 1529768
Compiled by hortonmu on 2013-10-07T06:28Z
Compiled with protoc 2.5.0
From source with checksum 79e53ce7994d1628b240f09af91e1af4

独立した方法で独立したHadoopの重要な設定。 前提条件の設定、Hadoopの設定、パラメータの設定、およびモデルの配布とソラマキナの作成。

エジェプロ

Veamos un ejemplo sencillo de Hadoop。 Hadoopinstalaciónproporciona el siguiente ejemplo MapReduce archivo jar、que proporciona la funcionalidadbásicade MapReduce y puede utilizarse para calcular、como valor de PI、recuento de palabras en una determina listaなど 

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar

Vamos a tener un Directorio de entrada donde vamos a empujar unos cuantos archivos y nuestraobligaciónes contar elnúmerototal de palabras en los archivos。 Paracalcular elnúmerototal de palabras、no es necesario escribir nuestro MapReduce、siempre el archivo .jar contiene laimplementaciónde recuento de palabras。 目的のファイルは、MapReduce hadoop mapreduce de ejemplos-2.2.0 .jarのように機能します。 

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar

手順1

Crear contenidotemporical archivos en el directorio de entrada。 Puede crear este directorio de entrada en cualquier lugar en el que lesgustaríatrabajar。 

$ mkdir input
$ cp $HADOOP_HOME/*.txt input
$ ls -l input

Ledarálos siguientes archivos en el directorio de entrada： 

total 24
-rw-r--r-- 1 root root 15164 Feb 21 10:14 LICENSE.txt
-rw-r--r-- 1 root root   101 Feb 21 10:14 NOTICE.txt
-rw-r--r-- 1 root root  1366 Feb 21 10:14 README.txt

エストス・アーキヴォス・セ・ハン・コピアド・デル・ハドープinstalacióndirectorio de inicio。 実験的、歴史的、歴史的な組み合わせ。

手順2

コメンツァーエルプロセソハドープパラコンターエルヌメロトドスロスアーキボスディスポンシブルズアンエルディレクターリオデエントラダ、デラシギエンテマネラ： 

$ hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduceexamples-2.2.0.jar  wordcount input ouput

手順3

手順2ハラ・エル・プロセサミエント・ネセサリオ・イ・グアルダル・エル・リザルタド・デ・ラ・プロドゥッチオン/パルテ-r00000アーカイブ、ケ・セ・プエデ・コンプロバル・メディアン： 

$cat output/*

トーラス・ロス・アーボス・ディスポンシブルズ・アンド・エル・ディレクター・デ・エントラーダ 

"AS      4
"Contribution" 1
"Contributor" 1
"Derivative 1
"Legal 1
"License"      1
"License");     1
"Licensor"      1
"NOTICE”        1
"Not      1
"Object"        1
"Source”        1
"Work”    1
"You"     1
"Your")   1
"[]"      1
"control"       1
"printed        1
"submitted"     1
(50%)     1
(BIS),    1
(C)       1
(Don't)   1
(ECCN)    1
(INCLUDING      2
(INCLUDING,     2
.............

インストールされたHadoop en Pseudo modoディストリビューション

Siga los pasos que se indican acontinuaciónpara instalar Hadoop 2.4.1 en pseudo modo distribuido。

手順1：Hadoopの構成

Puede establecer las variables de entorno Hadoop anexar los siguientes comandos para* 〜/.bashrc * archivo。 

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

Ahora se aplican todos los cambios en el sistema actual。 

$ source ~/.bashrc

手順2：Hadoopの構成

使用されていない設定アプリケーションの設定Hadoop en laubicación“ $ HADOOP_HOME/etc/hadoop”。 Es necesario realizar cambios en los archivos deconfiguraciónsegúnsu Hadoop infraestructura。 

$ Cd $HADOOP_HOME/etc/hadoop

Javaのデザイナロールプログラミングプログラム、Javaの変数、および hadoop-env.sh のjava変数の保存、アーカイブ、 JAVA_HOME の設定 

export JAVA_HOME=/usr/local/jdk1.7.0_71

Hadoopを使用して、ロスアーカイブのリストを修正します。 

*Core-site.xml*

El * core-site.xml * contieneinformacióncomo elnúmerode puerto que se usa para Hadoop ejemplo、memoria asignada para el sistema de archivos、límitede memoria para almacenar los datos、y eltamañode lectura/escritura。

Abrir el core-site.xmlおよび全体的なプロパティの設定<entity>、</configuration>の各要素。 

<configuration>

   <property>
      <name>fs.default.name </name>
      <value> hdfs://localhost:9000 </value>
   </property>

</configuration>
*hdfs-site.xml*

La * hdfs-site.xml * contieneinformacióncomo el valor de los datos de repplica、namenode ruta y datanode las rut​​as de acceso de los sistemas de archivosロケール。 Esto significa que el lugar donde se desea almacenar el Hadoop infraestructura。

Supongamos los siguientes datos。 

dfs.replication (data replication value) = 1
(In the below given path/hadoop/is the user name.
hadoopinfra/hdfs/namenode is the directory created by hdfs file system.)
namenode path =//home/hadoop/hadoopinfra/hdfs/namenode
(hadoopinfra/hdfs/datanode is the directory created by hdfs file system.)
datanode path =//home/hadoop/hadoopinfra/hdfs/datanode

アーカイブ<br> <構成>＆lt/構成>アーカイブのすべてのプロパティをアーカイブします。 

<configuration>

   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>

   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode </value>
   </property>

   <property>
      <name>dfs.data.dir&lt/name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode </value>
   </property>

</configuration>
  • 注：*事前に、プロスペダッドの息子の息子の定義と、Hadoopのインフラストラクチャの機能を提供します。
*yarn-site.xml*

Hadoopでの設定糸の設定 Abra el archivo yarn-site.xmlを使用して、すべての<config>、</configuration>をアーカイブします。 

<configuration>

   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle&lt/value>
   </property>

</configuration>
*mapred-site.xml*

MapReduceフレームワークの特定の用途に使用することができます。 事前決定済み、Hadoop containene una plantilla de yarn-site.xml。 入門書、es necesario copiar el archivo desde * mapred-site、xml.template a mapred-site.xml * con el siguiente comando。 

$ cp mapred-site.xml.template mapred-site.xml

sitio.xmlのマップされたファイルは、すべての<configuración>、</configuration>固有のアーカイブのプロパティに関連付けられています。 

<configuration>

   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>

</configuration>

HadoopInstalaciónVerificación

Hadoopのインストールと検証に使用できます。

手順1：Nodoのインストール

名前ノードの設定は、コマンドラインの「hdfs namenode -format」で行います。 

$ cd ~
$ hdfs namenode -format

結果は、エスペラードとシギエンテです。 

10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost/192.168.1.11
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 2.4.1
...
...
10/24/14 21:30:56 INFO common.Storage: Storage directory
/home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted.
10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to
retain 1 images with txid >= 0
10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0
10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11
************************************************************/

手順2：Comprobar Hadoopのdf

エル・シギエンテ・コマンド・セ・ユーティリザ・パラ・イニシア・スレ。 アル・エジェキュータル・エスト・コマンド、アーティボ・デ・アシボ・ラ・アドゥーボ・システマ・デ・アーキヴォス。 

$ start-dfs.sh

エルリザルドエスペラードエスラシギエンテ： 

10/24/14 21:37:56
Starting namenodes on [localhost]
localhost: starting namenode, logging to/home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-namenode-localhost.out
localhost: starting datanode, logging to/home/hadoop/hadoop
2.4.1/logs/hadoop-hadoop-datanode-localhost.out
Starting secondary namenodes [0.0.0.0]

手順3：スクリプトヤーンのコンプロバシオン

エル・シギエンテのコマンドと初期のエル・ヤーン・スクリプト。 毛糸の悪魔のようなものです。 

$ start-yarn.sh

シギエンテマネラの結果 

starting yarn daemons
starting resourcemanager, logging to/home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out
localhost: starting nodemanager, logging to/home/hadoop/hadoop
2.4.1/logs/yarn-hadoop-nodemanager-localhost.out

手順4：Hadoop en el navegadorにアクセスする

Elnúmerode puerto predeterminado para acceder a Hadoop es 50070。 Hadoop servicios en el navegadorを使用して、ディレクトリを参照してください。 

http://localhost:50070/

ブラウザでのHadoopへのアクセス

手順5：クラウドソリティスの検証

エル・ヌメロ・デ・プエルト・プレデタミナード・パラ・アクセサー・ア・トダス・ラス・アプリカシオン・デ・クラスター・エス8088 訪問者は、訪問者のためのサービスを提供します。 

http://localhost:8088/

Hadoop Application Cluster

「https://www.finddevguides.com/index.php?title=Es-hadoop-hadoop-enviornment-setup&oldid=31298」から取得
Powered by MediaWiki