Apache-tajo-openstack-swift-integration

Apache Tajo-OpenStack Swiftの統合

Swiftは、分散された一貫性のあるオブジェクト/ブロブストアです。 Swiftはクラウドストレージソフトウェアを提供しているため、シンプルなAPIで大量のデータを保存および取得できます。 TajoはSwift統合をサポートしています。

以下は、Swift Integrationの前提条件です-

• 迅速
• Hadoop

Core-site.xml

hadoop「core-site.xml」ファイルに次の変更を追加します-

<property>
   <name>fs.swift.impl</name>
   <value>org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem</value>
   <description>File system implementation for Swift</description>
</property>

<property>
   <name>fs.swift.blocksize</name>
   <value>131072</value>
   <description>Split size in KB</description>
</property>

Copy

これは、HadoopがSwiftオブジェクトにアクセスするために使用されます。 すべての変更を行ったら、Tajoディレクトリに移動して、Swift環境変数を設定します。

conf/tajo-env.h

Tajo構成ファイルを開き、次のように環境変数を設定して追加します-

$ vi conf/tajo-env.h
export TAJO_CLASSPATH = $HADOOP_HOME/share/hadoop/tools/lib/hadoop-openstack-x.x.x.jar

Copy

これで、TajoはSwiftを使用してデータをクエリできるようになります。

テーブルを作成

次のように、TajoのSwiftオブジェクトにアクセスするための外部テーブルを作成しましょう-

default> create external table swift(num1 int, num2 text, num3 float)
   using text with ('text.delimiter' = '|') location 'swift://bucket-name/table1';

Copy

テーブルが作成された後、SQLクエリを実行できます。