spark on yarn提交任务时一直显示ACCEPTED

发布于 2021-11-22 06:04:51 字数 944 浏览 810 评论 0

spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。

任务提交命令为

 bin/spark-submit --class org.apache.spark.examples.JavaWordCount
    --master yarn-client
    --num-executors 25
    --executor-memory 1g
    --executor-cores 1
    lib/spark-examples-1.0.1-hadoop2.2.0.jar
    hdfs://192.168.1.11:9000/test

spark-env.sh配置如下:

export SPARK_JAR=hdfs://192.168.1.11:9000/test1/spark-assembly-1.0.1-hadoop2.2.0.jar
export SPARK_YARN_APP_JAR=hdfs://192.168.1.11:9000/test1/spark-examples-1.0.1-hadoop2.2.0.jar
export HADOOP_CONF_DIR=/hadoop/etc/hadoop
export SPARK_EXECUTOR_INSTANCES=1000
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=10000M
export SPARK_DRIVER_MEMORY=20000M
export SPARK_YARN_APP_NAME=spark

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文