是否可以在执行者中没有Python模块的情况下穿过Spark-Submit？

Question

我有一个7个节点的簇。 1：主 2：NN1 3：NN2 4：DN1 5：DN2 6：DN3 7：GN

I仅在网关节点中安装了Python模块。 我通过Spark-Submit运行了Python代码。

以下是我的代码，

from pyspark import SparkConf, SparkContext
import pandas as pd

# Spark configuration
conf = SparkConf().setAppName("uber-date-trips")
sc = SparkContext(conf=conf)

# data parsing
lines = sc.textFile( "/user/tester/trips_2020-03.csv" )
header = lines.first()
filtered_lines = lines.filter(lambda row:row != header)

# data filtering and counting same date data
dates = filtered_lines.map(lambda x: x.split(",")[2].split(" ")[0])
result = dates.countByValue()

# save the result to csv type
pd.Series(result, name="trips").to_csv("trips_date.csv")

我认为这项工作将失败。 因为执行者中没有Python模块（DN1，DN2，DN3）。

但是这项工作是成功。

有人向我解释吗？

谢谢