Question

1. 独立应用与pyspark shell 的主要区别在于：你需要自行初始化SparkContext，除此之外二者使用的API 完全相同。

2. 在python 中，你需要把独立应用写成python 脚本，然后使用Spark 自带的bin/spark-submit 脚本来运行：

   
   xxxxxxxxxx
   bin/spark-submit my_script.py

   spark-submit 会帮助我们引入python程序的spark 依赖

3. 在独立应用中，通常使用下面方法初始化SparkContext：

   
   xxxxxxxxxx
   from pyspark import SparkConf, SparkContext
   conf = SparkConf().setMaster('local').setAppName('My App')
   sc = SparkContext(conf = conf)

   首先创建一个SparkConf 对象来配置应用，然后基于该SparkConf 来创建一个SparkContext 对象。

   • .setMaster() 给出了集群的URL，告诉spark 如何连接到集群上。这里'local' 表示让spark 运行在单机单线程上。
   • .setAppName() 给出了应用的名字。当连接到一个集群上时，这个值可以帮助你在集群管理器的用户界面上找到你的应用。

4. 关闭spark 可以调用SparkContext 的 .stop() 方法，或者直接退出应用（如调用System.exit(0) 或者sys.exit()）

5. 如果需要使用python3，则使用export PYSPARK_PYTHON=python3 来导出环境变量。

   • 或者在代码中使用os.environ["PYSPARK_PYTHON"]="python3"