使用Spark-submit报错 ,如何解决?
自己练习的一个java的SparkPi程序,已经尝试过在本地(local)跑成功了。现在想在公司的集群中跑一下。
我所做的步骤如下,如有错误,请您们多多指出:
Eclipse中的项目SparkPi,右键export成一个SparkPiTest.jar文件。
这个项目中用到一个spark-assembly-1.5.1-hadoop1.2.1.jar依赖。将 SparkPiTest.jar 和 spark-assembly-1.5.1-hadoop1.2.1.jar移到了 master中 /root/spark-1.5.1-bin-hadoop1-scala2.11/bin 路径下。(这一步我不太确定,只需要把整个项目拷贝到master中,还是还需要把项目中的依赖包spark-assembly-1.5.1-hadoop1.2.1.jar也移动进去?但是不论我怎么操作,报错一直没变)
3.最后一步我在putty中操作,这一步也不太确定,怕某一行写错了,但是不论怎么改,报错一直没变。
在bin路径下:
./spark-submit\
--class org.apache.spark.examples.JavaSparkPi\
--master spark://192.168.0.208:7077\
--jars spark-assembly-1.5.1-hadoop1.2.1.jar\
--executor-memory 20G\
--total-executor-cores 1\
/root/spark-1.5.1-bin-hadoop1-scala2.11/bin/SparkPiTest.jar\
然后报错:Error: Must specify a primary resource (JAR or Python or R file)
Run with --help for usage help or --verbose for debug output
我查了很多资料,通通没有解决。我不知道是配置原因,还是./spark-submit这个指令没有写对,总之一直没有头绪。求帮助!多谢大神指点!
更多0
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论