使用Spark-submit报错 ,如何解决?

发布于 2022-09-01 19:51:41 字数 1053 浏览 18 评论 0

自己练习的一个java的SparkPi程序,已经尝试过在本地(local)跑成功了。现在想在公司的集群中跑一下。

我所做的步骤如下,如有错误,请您们多多指出:

  1. Eclipse中的项目SparkPi,右键export成一个SparkPiTest.jar文件。

  2. 这个项目中用到一个spark-assembly-1.5.1-hadoop1.2.1.jar依赖。将 SparkPiTest.jar 和 spark-assembly-1.5.1-hadoop1.2.1.jar移到了 master中 /root/spark-1.5.1-bin-hadoop1-scala2.11/bin 路径下。(这一步我不太确定,只需要把整个项目拷贝到master中,还是还需要把项目中的依赖包spark-assembly-1.5.1-hadoop1.2.1.jar也移动进去?但是不论我怎么操作,报错一直没变)

3.最后一步我在putty中操作,这一步也不太确定,怕某一行写错了,但是不论怎么改,报错一直没变。
在bin路径下:

./spark-submit\

--class org.apache.spark.examples.JavaSparkPi\
--master spark://192.168.0.208:7077\
--jars spark-assembly-1.5.1-hadoop1.2.1.jar\
--executor-memory 20G\
--total-executor-cores 1\
/root/spark-1.5.1-bin-hadoop1-scala2.11/bin/SparkPiTest.jar\

然后报错:Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output

我查了很多资料,通通没有解决。我不知道是配置原因,还是./spark-submit这个指令没有写对,总之一直没有头绪。求帮助!多谢大神指点!
更多0

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文