Spark读取HA模式HDFS Caused by: java.net.UnknownHostException: masters

Question

Spark版本：1.6.1

Hadoop版本：2.6.2

HDFS模式为：HA(正常使用，没有任何问题)

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://masters</value>
</property>

<!--指定hdfs的nameservice为masters，需要和core-site.xml中的保持一致 -->
<property>
  <name>dfs.nameservices</name>
  <value>masters</value>
</property>

使用Spark读取HDFS文件，报错Caused by: java.net.UnknownHostException: masters

val line = sc.textFile("hdfs://masters/user/hadoop/wordcount/input")

尝试解决方法：

1. 拷贝core-site.xml和hdfs-site.xml到$SPARK_HOME/conf/目录下：失败

2. 在$SPARK_HOME/conf/spark-default.conf添加：失败

spark.files file:///home/hadoop/work/spark-1.6.1/conf/hdfs-site.xml,file:///home/hadoop/work/spark-1.6.1/conf/core-site.xml

不知道哪位大侠有这方面的经验啊，给个答案吧。

Answer 1

请问解决了吗，碰到同样问题了