Intellij，Maven，Scala Pulgins的怪异构建问题
我正面临Intellij，Maven和Scala的怪异构建问题。 我们有Scala项目，当我通过运行MVN干净，MVN Scala：编译和MVN安装或包装将其包装到JAR中时，它会完…
是否可以在执行者中没有Python模块的情况下穿过Spark-Submit？
我有一个7个节点的簇。 1：主 2：NN1 3：NN2 4：DN1 5：DN2 6：DN3 7：GN I仅在网关节点中安装了Python模块。 我通过Spark-Submit运行了Python代码。 …
在Mac上打开一个端口，用于本地运行的火花
我在Mac上通过Brew安装的Mac在本地运行独立的Spark 3.2.1。这是用于低成本（免费）单位测试的目的。我正在通过终端的Pyspark命令启动此实例，并能够访…
用Spark-Avro在Mac或PC上安装Spark-Avro的运行Spark-Submit
我真的很挣扎。花了很多时间在Spark手册和堆栈跨流帖子中寻找答案。真的需要帮助。 我已经在Mac上安装了Apache Spark在本地构建和调试Pyspark代码。但…
Pyspark：ModulenotfoundError：No模块名为＆＃x27; App＆＃x27;因为Pyspark Serializer无法找到Paython软件包文件夹＆＃x27; app＆＃x27;
我正在使用以下代码段将CSV读为PySpark中的数据帧。 项目结构： pyspark-debug: app __init__.py data-pipeline.py main.py .... data-pipeline.py fr…
gcloud spark提交：不存在路径：hdfs：// cluster-xxxx-m/user/root/ - ;
我正在尝试使用 gsutil 从气流提交我的Spark作业。 这是我的 gcloud 命令： gcloud dataproc作业提交spark -cluster = xxx -region = us-central1 -cl…
尝试在气流中获得火花连接ID时出错
我的 sparksubmitoperator 在气流dag中的外观如下，下面是我的 connection_id'spark_local' in Airflow ui as ，如果这里缺少任何东西，有人可以帮我…
使用 Docker 时的 EMR Spark 部署模式
我正在在AWS EMR中部署Spark Job，并使用Docker包装所有依赖关系。我的pythonized spark提交命令看起来像是这样 ... cmd = ( f"spark-submit --deploy…
Spark 在 Kuberentes 退出代码上提交
如何在运行 Spark-submit 时以编程方式检查 Spark 作业是否成功或失败。通常使用 unix 退出代码。 phase: Failed container status: container name: …
如何处理其中“{”的主机编号是最后一个字符
我有一个大型机文件数据，如下所示， 000000720000{ 我需要解析数据并加载到配置单元表中，如下所示， 72000 上面的字段是收入列，“{”符号表示 +ve …
Spark-submit 在退出程序之前不等待状态 FINISHED
我正在通过 Spark-Submit 向我们的纱线服务提交 Spark 作业。根据我的理解，spark-submit 应该继续运行，直到状态状态为 FINISHED，然后再继续。然而…
错误 StandaloneSchedulerBackend：应用程序已被终止。原因：所有高手都没有反应！放弃。 - Spark独立集群
Spark 作业 (Scala/s3) 在使用 Spark-submit 的独立集群中运行几次后工作正常，但运行几次后它开始给出以下错误。代码没有任何更改，它正在与 Spark-M…
如何使用 Python 2.4 在 Spark-Submit 中传递参数并将其放入数据帧中？
我需要在 Spark-submit 调用中传递一个参数，并使用 Python 2.4 将其分配到数据框中，我该怎么做？ import pyspark from pyspark.sql import SparkCon…
