Pyspark
提供:Dev Guides
PySparkチュートリアル
Apache SparkはScalaプログラミング言語で書かれています。 SparkでPythonをサポートするために、Apache SparkコミュニティはツールPySparkをリリースしました。 PySparkを使用すると、Pythonプログラミング言語でRDDを操作することもできます。 これを実現できるのは、Py4jというライブラリーがあるためです。 これは入門チュートリアルであり、データドリブンドキュメントの基本をカバーし、そのさまざまなコンポーネントとサブコンポーネントを扱う方法を説明します。
聴衆
このチュートリアルは、プログラミング言語とリアルタイム処理フレームワークでキャリアを積もうとしている専門家を対象としています。 このチュートリアルの目的は、読者がPySparkをさまざまなモジュールやサブモジュールとともに使い始めるのを快適にすることです。
前提条件
このチュートリアルで提供されるさまざまな概念を進める前に、読者はプログラミング言語とフレームワークが何であるかをすでに知っていると想定されています。 これに加えて、読者がApache Spark、Apache Hadoop、Scalaプログラミング言語、Hadoop分散ファイルシステム(HDFS)、およびPythonの適切な知識を持っている場合、非常に役立ちます。