PySpark-SparkConf

ローカル/クラスター上でSparkアプリケーションを実行するには、いくつかの構成とパラメーターを設定する必要があります。これがSparkConfで役立ちます。 Sparkアプリケーションを実行するための構成を提供します。次のコードブロックには、PySparkのSparkConfクラスの詳細が含まれています。

class pyspark.SparkConf (
   loadDefaults = True,
   _jvm = None,
   _jconf = None
)

最初に、SparkConf（）でSparkConfオブジェクトを作成します。このオブジェクトは、* spark。** Javaシステムプロパティからも値をロードします。 SparkConfオブジェクトを使用してさまざまなパラメーターを設定できるようになり、それらのパラメーターはシステムプロパティよりも優先されます。

SparkConfクラスには、チェーンをサポートするセッターメソッドがあります。たとえば、* conf.setAppName（“ PySpark App”）。setMaster（“ local”）*と書くことができます。 SparkConfオブジェクトをApache Sparkに渡すと、ユーザーは変更できません。

以下は、SparkConfの最も一般的に使用される属性の一部です-

* set（key、value）*-構成プロパティを設定します。
* setMaster（value）*-マスターURLを設定します。
* setAppName（value）*-アプリケーション名を設定します。
* get（key、defaultValue = None）*-キーの設定値を取得します。
* setSparkHome（value）*-ワーカーノードでSparkインストールパスを設定します。

PySparkプログラムでSparkConfを使用する次の例を考えてみましょう。この例では、sparkアプリケーション名を PySpark App に設定し、sparkアプリケーションのマスターURLを→ spark：//master：7077 に設定しています。

次のコードブロックには行があり、Pythonファイルに追加されると、PySparkアプリケーションを実行するための基本的な構成を設定します。

---------------------------------------------------------------------------------------
from pyspark import SparkConf, SparkContext
conf = SparkConf().setAppName("PySpark App").setMaster("spark://master:7077")
sc = SparkContext(conf=conf)
---------------------------------------------------------------------------------------

Pyspark-sparkconf

PySpark-SparkConf