start-all 方式启动 spark 集群,没有出现 Master进程?
- 最开始启动了 spark,hdfs,yarn 成功,但是长时间后,发现无法正常提交 spark任务了,老是出现类似于如下错误。"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
- 然后我想停止 spark 等,但是发现无法 stop。
- 参照网上的方法重新建立 SPARK_PID_DIR 目录,并设置了 spark-env、hadoop-env和yarn-env 文件中的 PID_DIR,发现还是不可以。
- 然后直接杀掉了所有 jps 后出现的进程。
- 再次启动 hdfs、yarn成功,但是启动 spark后,对应的 SPARK_PID_DIR 路径下出现了spark-wangyichao-org.apache.spark.deploy.worker.Worker-1.pid 和 spark-wangyichao-org.apache.spark.deploy.master.Master-1.pid 文件,但是jps后没有出现 Master进程。
- 运行spark任务,依旧出现"INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); maxRetries=45"
- 不知该咋整了,小弟新手,求指教
最开始启动了 spark,hdfs,yarn 成功
lz究竟是Spark集群还是Spark on yarn?