Pyspark-sparkfiles
提供:Dev Guides
PySpark-SparkFiles
Apache Sparkでは、 sc.addFile (scはデフォルトのSparkContext)を使用してファイルをアップロードし、 SparkFiles.get を使用してワーカーのパスを取得できます。 したがって、SparkFilesは* SparkContext.addFile()*によって追加されたファイルへのパスを解決します。
SparkFilesには次のクラスメソッドが含まれています-
- get(ファイル名)
- getrootdirectory()
それらを詳細に理解しましょう。
get(ファイル名)
SparkContext.addFile()を介して追加されるファイルのパスを指定します。
getrootdirectory()
SparkContext.addFile()を介して追加されたファイルを含むルートディレクトリへのパスを指定します。
コマンド-コマンドは次のとおりです-
出力-上記のコマンドの出力は-