Apache-tajo-openstack-swift-integration
提供:Dev Guides
Apache Tajo-OpenStack Swiftの統合
Swiftは、分散された一貫性のあるオブジェクト/ブロブストアです。 Swiftはクラウドストレージソフトウェアを提供しているため、シンプルなAPIで大量のデータを保存および取得できます。 TajoはSwift統合をサポートしています。
以下は、Swift Integrationの前提条件です-
- 迅速
- Hadoop
Core-site.xml
hadoop「core-site.xml」ファイルに次の変更を追加します-
<property>
<name>fs.swift.impl</name>
<value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value>
<description>File system implementation for Swift</description>
</property>
<property>
<name>fs.swift.blocksize</name>
<value>131072</value>
<description>Split size in KB</description>
</property>
これは、HadoopがSwiftオブジェクトにアクセスするために使用されます。 すべての変更を行ったら、Tajoディレクトリに移動して、Swift環境変数を設定します。
conf/tajo-env.h
Tajo構成ファイルを開き、次のように環境変数を設定して追加します-
$ vi conf/tajo-env.h
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar
これで、TajoはSwiftを使用してデータをクエリできるようになります。
テーブルを作成
次のように、TajoのSwiftオブジェクトにアクセスするための外部テーブルを作成しましょう-
default> create external table swift(num1 int, num2 text, num3 float)
using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';
テーブルが作成された後、SQLクエリを実行できます。