start-all 方式启动 spark 集群,没有出现 Master进程?

发布于 09-07 08:00 字数 711 浏览 18 评论 0

  1. 最开始启动了 spark,hdfs,yarn 成功,但是长时间后,发现无法正常提交 spark任务了,老是出现类似于如下错误。"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
  2. 然后我想停止 spark 等,但是发现无法 stop。
  3. 参照网上的方法重新建立 SPARK_PID_DIR 目录,并设置了 spark-env、hadoop-env和yarn-env 文件中的 PID_DIR,发现还是不可以。
  4. 然后直接杀掉了所有 jps 后出现的进程。
  5. 再次启动 hdfs、yarn成功,但是启动 spark后,对应的 SPARK_PID_DIR 路径下出现了spark-wangyichao-org.apache.spark.deploy.worker.Worker-1.pid 和 spark-wangyichao-org.apache.spark.deploy.master.Master-1.pid 文件,但是jps后没有出现 Master进程。
  6. 运行spark任务,依旧出现"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
  7. 不知该咋整了,小弟新手,求指教

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

苹果你个爱泡泡2022-09-14 08:00:21

最开始启动了 spark,hdfs,yarn 成功

lz究竟是Spark集群还是Spark on yarn?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文