Spark 简单入门

Question

从官网下载 spark 2.1 版，下载之后解压，进入目录运行： ./bin/pyspark --master local[2]

以 python shell 模式在本地启动两个进程来运行 spark。

连接 mongodb connector，运行： ./bin/pyspark --master local[2] --packages org.mongodb.spark:mongo-spark-connector_2.10:2.0.0

启动 spark 时载入 mongodb connector 插件。