Apache Spark-インストール

SparkはHadoopのサブプロジェクトです。したがって、SparkをLinuxベースのシステムにインストールすることをお勧めします。次の手順は、Apache Sparkのインストール方法を示しています。

ステップ1：Javaインストールの検証

Javaのインストールは、Sparkのインストールに必須の要素の1つです。次のコマンドを試して、JAVAバージョンを確認してください。

$java -version

Javaがすでにシステムにインストールされている場合、次の応答が表示されます-

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

システムにJavaがインストールされていない場合は、次のステップに進む前にJavaをインストールします。

ステップ2：Scalaインストールの検証

Sparkを実装するにはScala言語を使用する必要があります。次のコマンドを使用してScalaのインストールを確認しましょう。

$scala -version

Scalaがシステムに既にインストールされている場合、次の応答が表示されます-

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

システムにScalaがインストールされていない場合は、Scalaのインストールの次の手順に進みます。

ステップ3：Scalaをダウンロードする

次のリンクhttp://www.scala-lang.org/download/[Scalaのダウンロード]にアクセスして、Scalaの最新バージョンをダウンロードします。このチュートリアルでは、scala-2.11.6バージョンを使用しています。ダウンロード後、ダウンロードフォルダーにScala tarファイルがあります。

ステップ4：Scalaをインストールする

Scalaをインストールするには、以下の手順に従ってください。

Scala tarファイルを抽出します

Scala tarファイルを抽出するには、次のコマンドを入力します。

$ tar xvf scala-2.11.6.tgz

Scalaソフトウェアファイルを移動する

Scalaソフトウェアファイルをそれぞれのディレクトリ*（/usr/local/scala）*に移動するには、次のコマンドを使用します。

$ su –
Password:
# cd/home/Hadoop/Downloads/
# mv scala-2.11.6/usr/local/scala
# exit

ScalaのPATHを設定

ScalaのPATHを設定するには、次のコマンドを使用します。

$ export PATH = $PATH:/usr/local/scala/bin

Scalaインストールの検証

インストール後、確認することをお勧めします。 Scalaのインストールを確認するには、次のコマンドを使用します。

$scala -version

Scalaがシステムに既にインストールされている場合、次の応答が表示されます-

Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

ステップ5：Apache Sparkのダウンロード

次のリンクhttps://spark.apache.org/downloadsl[Download Spark]にアクセスして、Sparkの最新バージョンをダウンロードします。このチュートリアルでは、 spark-1.3.1-bin-hadoop2.6 バージョンを使用しています。ダウンロード後、Spark tarファイルはダウンロードフォルダーにあります。

ステップ6：Sparkをインストールする

Sparkをインストールするには、以下の手順に従ってください。

Spark tarの抽出

次のコマンドは、spark tarファイルを抽出します。

$ tar xvf spark-1.3.1-bin-hadoop2.6.tgz

Sparkソフトウェアファイルの移動

Sparkソフトウェアファイルをそれぞれのディレクトリ*（/usr/local/spark）*に移動するための次のコマンド。

$ su –
Password:

# cd/home/Hadoop/Downloads/
# mv spark-1.3.1-bin-hadoop2.6/usr/local/spark
# exit

Sparkの環境をセットアップする

〜* /。bashrc *ファイルに次の行を追加します。スパークソフトウェアファイルがある場所をPATH変数に追加することを意味します。

export PATH=$PATH:/usr/local/spark/bin

〜/.bashrcファイルを入手するには、次のコマンドを使用します。

$ source ~/.bashrc

ステップ7：Sparkインストールの検証

Sparkシェルを開くための次のコマンドを記述します。

$spark-shell

sparkが正常にインストールされると、次の出力が見つかります。

Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop
15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled;
   ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop)
15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server
15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292.
Welcome to
      ____              __
    /__/__  ___ _____//__
    _\ \/_ \/_ `/__/ '_/
  /___/.__/\_,_/_//_/\_\   version 1.4.0
     /_/

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71)
Type in expressions to have them evaluated.
Spark context available as sc
scala>

Apache-spark-installation

目次