Hcatalog-installation
HCatalog-インストール
Hive、Pig、HBaseなどのすべてのHadoopサブプロジェクトは、Linuxオペレーティングシステムをサポートしています。 したがって、システムにLinuxフレーバーをインストールする必要があります。 HCatalogは、2013年3月26日にHive Installationと統合されます。 バージョンHive-0.11.0以降、HCatalogにはHiveがインストールされています。 そのため、以下に示す手順に従ってHiveをインストールすると、システムにHCatalogが自動的にインストールされます。
ステップ1:JAVAインストールの確認
Hiveをインストールする前に、Javaをシステムにインストールする必要があります。 次のコマンドを使用して、システムにJavaがすでにインストールされているかどうかを確認できます-
Javaがすでにシステムにインストールされている場合、次の応答が表示されます-
システムにJavaがインストールされていない場合は、以下の手順に従う必要があります。
ステップ2:Javaのインストール
次のリンクhttp://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260l[[[1]] oracle.com/]
次に、 jdk-7u71-linux-x64.tar.gz がシステムにダウンロードされます。
通常、ダウンロードしたJavaファイルは、ダウンロードフォルダーにあります。 それを確認し、次のコマンドを使用して jdk-7u71-linux-x64.gz ファイルを抽出します。
Javaをすべてのユーザーが利用できるようにするには、Javaを「/usr/local/」の場所に移動する必要があります。 ルートを開き、次のコマンドを入力します。
上記で説明したように、ターミナルからコマンド java -version を使用してインストールを検証します。
ステップ3:Hadoopインストールの検証
Hiveをインストールする前に、Hadoopをシステムにインストールする必要があります。 次のコマンドを使用してHadoopのインストールを確認しましょう-
Hadoopが既にシステムにインストールされている場合、次の応答が表示されます-
Hadoopがシステムにインストールされていない場合は、次の手順に進みます-
ステップ4:Hadoopのダウンロード
次のコマンドを使用して、Apache Software FoundationからHadoop 2.4.1をダウンロードして抽出します。
ステップ5:疑似分散モードでのHadoopのインストール
Hadoopのセットアップ
次のコマンドを*〜/.bashrc *ファイルに追加することにより、Hadoop環境変数を設定できます。
すべての変更を現在実行中のシステムに適用します。
Hadoop設定
すべてのHadoop設定ファイルは、「$ HADOOP_HOME/etc/hadoop」の場所にあります。 Hadoopインフラストラクチャに応じて、これらの構成ファイルに適切な変更を加える必要があります。
Javaを使用してHadoopプログラムを開発するには、 JAVA_HOME 値をシステム内のJavaの場所に置き換えて、 hadoop-env.sh ファイルのJava環境変数をリセットする必要があります。
以下に、Hadoopを構成するために編集する必要があるファイルのリストを示します。
core-site.xml
core-site.xmlを開き、<configuration>タグと</configuration>タグの間に次のプロパティを追加します。
hdfs-site.xml
次のデータを想定します。
このファイルを開き、このファイルの<configuration>タグと</configuration>タグの間に次のプロパティを追加します。
注-上記のファイルでは、すべてのプロパティ値はユーザー定義であり、Hadoopインフラストラクチャに応じて変更できます。
yarn-site.xml
このファイルは、Hadoopに糸を設定するために使用されます。 yarn-site.xmlファイルを開き、このファイルの<configuration>タグと</configuration>タグの間に次のプロパティを追加します。
mapred-site.xml
このファイルは、使用しているMapReduceフレームワークを指定するために使用されます。 デフォルトでは、Hadoopにはyarn-site.xmlのテンプレートが含まれています。 まず、次のコマンドを使用して、 mapred-site、xml.template から mapred-site.xml ファイルにファイルをコピーする必要があります。
mapred-site.xmlファイルを開き、このファイルの<configuration>タグと</configuration>タグの間に次のプロパティを追加します。
ステップ6:Hadoopインストールの検証
次の手順を使用して、Hadoopのインストールを確認します。
ネームノードのセットアップ
次のようにコマンド「hdfs namenode -format」を使用してネームノードを設定します-
期待される結果は次のとおりです-
Hadoop DFSの検証
DFSを開始するには、次のコマンドを使用します。 このコマンドを実行すると、Hadoopファイルシステムが起動します。
予想される出力は次のとおりです-
糸スクリプトの検証
次のコマンドを使用して、Yarnスクリプトを開始します。 このコマンドを実行すると、Yarnデーモンが起動します。
予想される出力は次のとおりです-
ブラウザでHadoopにアクセスする
Hadoopにアクセスするためのデフォルトのポート番号は50070です。 次のURLを使用して、ブラウザーでHadoopサービスを取得します。
クラスターのすべてのアプリケーションを検証する
クラスターのすべてのアプリケーションにアクセスするためのデフォルトのポート番号は8088です。 このサービスにアクセスするには、次のURLを使用してください。
Hadoopのインストールが完了したら、次の手順に進み、Hiveをシステムにインストールします。
ステップ7:Hiveのダウンロード
このチュートリアルでは、hive-0.14.0を使用します。 次のリンク* http://apache.petsads.us/hive/hive-0.14.0/にアクセスしてダウンロードできます。 */Downloads ディレクトリにダウンロードされると仮定しましょう。 ここでは、このチュートリアル用に「 apache-hive-0.14.0-bin.tar.gz 」という名前のHiveアーカイブをダウンロードします。 次のコマンドは、ダウンロードを確認するために使用されます-
ダウンロードが成功すると、次の応答が表示されます-
ステップ8:Hiveのインストール
システムにHiveをインストールするには、次の手順が必要です。 Hiveアーカイブが /Downloads ディレクトリにダウンロードされると仮定しましょう。
Hiveアーカイブの抽出と検証
次のコマンドを使用して、ダウンロードを確認し、Hiveアーカイブを抽出します-
ダウンロードが成功すると、次の応答が表示されます-
====/usr/local/hiveディレクトリへのファイルのコピー
スーパーユーザー「su-」からファイルをコピーする必要があります。 次のコマンドは、抽出されたディレクトリから /usr/local/hive ”ディレクトリにファイルをコピーするために使用されます。
Hiveの環境をセットアップする
次の行を*〜/.bashrc *ファイルに追加することにより、Hive環境をセットアップできます-
〜/.bashrcファイルを実行するには、次のコマンドを使用します。
ステップ9:Hiveの構成
HadoopでHiveを構成するには、 $ HIVE_HOME/conf ディレクトリにある hive-env.sh ファイルを編集する必要があります。 次のコマンドは、Hive config フォルダーにリダイレクトし、テンプレートファイルをコピーします-
次の行を追加して、 hive-env.sh ファイルを編集します-
これで、Hiveのインストールが完了しました。 メタストアを構成するには、外部データベースサーバーが必要になりました。 Apache Derbyデータベースを使用します。
ステップ10:Apache Derbyのダウンロードとインストール
Apache Derbyをダウンロードしてインストールするには、以下の手順に従ってください-
Apache Derbyのダウンロード
Apache Derbyをダウンロードするには、次のコマンドを使用します。 ダウンロードには時間がかかります。
次のコマンドは、ダウンロードを確認するために使用されます-
ダウンロードが成功すると、次の応答が表示されます-
Derbyアーカイブの抽出と検証
次のコマンドは、Derbyアーカイブの抽出と検証に使用されます-
ダウンロードが成功すると、次の応答が表示されます-
====/usr/local/derbyディレクトリへのファイルのコピー
スーパーユーザー「su-」からコピーする必要があります。 次のコマンドは、抽出されたディレクトリから /usr/local/derby ディレクトリにファイルをコピーするために使用されます-
Derbyの環境のセットアップ
次の行を*〜/.bashrc *ファイルに追加することで、Derby環境を設定できます-
次のコマンドは、*〜/.bashrc file *を実行するために使用されます-
メタストアのディレクトリを作成する
$ DERBY_HOMEディレクトリに data という名前のディレクトリを作成して、メタストアデータを保存します。
これで、Derbyのインストールと環境設定が完了しました。
ステップ11:Hiveメタストアの構成
メタストアの構成とは、データベースの保存場所をHiveに指定することを意味します。 これを行うには、 $ HIVE_HOME/conf ディレクトリにある hive-site.xml ファイルを編集します。 まず、次のコマンドを使用してテンプレートファイルをコピーします-
ステップ12:Hiveインストールの検証
Hiveを実行する前に、HDFSに /tmp フォルダーと別のHiveフォルダーを作成する必要があります。 ここでは、 /user/hive/warehouse フォルダーを使用します。 以下に示すように、これらの新しく作成されたフォルダの書き込み権限を設定する必要があります-
Hiveを検証する前に、HDFSでそれらを設定します。 次のコマンドを使用します-
次のコマンドは、Hiveのインストールを確認するために使用されます-
Hiveが正常にインストールされると、次の応答が表示されます-
次のサンプルコマンドを実行して、すべてのテーブルを表示できます-
ステップ13:HCatalogインストールの検証
次のコマンドを使用して、HCatalogホームのシステム変数 HCAT_HOME を設定します。
次のコマンドを使用して、HCatalogのインストールを確認します。
インストールが成功した場合、次の出力が表示されます-