spark on yarn 总是 ACCEPTED

Question

@闵开慧 你好，想跟你请教个问题：我用spark on yarn 模式  命令行方式提交一个测试实例  总是显示accepted 状态  ，这是怎么回事！

Answer 1

一直是ACCEPTED状态你查看监控页面发现没有找到Master机器，把你集群的配置参数加在程序里面就可以了，具体参考如下：

SparkConf sparkConf = new SparkConf().setAppName("test");

        sparkConf.set("mapreduce.framework.name", "yarn");

        sparkConf.set("mapreduce.jobtracker.address", "192.168.1.100:9001");

        sparkConf.set("yarn.resourcemanager.hostname", "192.168.1.100");

        sparkConf.set("yarn.resourcemanager.admin.address", "192.168.1.100:8033");

        sparkConf.set("yarn.resourcemanager.address", "192.168.1.100:8032");

        sparkConf.set("yarn.resourcemanager.resource-tracker.address", "192.168.1.100:8031");

        sparkConf.set("yarn.resourcemanager.scheduler.address", "192.168.1.100:8030");

      sparkConf.set("yarn.resourcemanager.hostname", "192.168.1.100");

下面这几个参数是调优的，根据你的情况添加，添加以上程序就已经可以正常提交任务了。

        sparkConf.set("spark.rdd.compress", "true");

        sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

        sparkConf.set("spark.storage.memoryFraction", "0.5");

        sparkConf.set("spark.akka.frameSize", "100");

        sparkConf.set("spark.default.parallelism", "98");