$SPARK_HOME/conf下配置core-site.xml连接远程hive仓库的HDFS不起作用

Question

问题描述

执行spark-submit [pyspark脚本].py，执行到SQL语句时报连接失败错误，在配置使用远程HDFS的情况下依然尝试连接本地的9000端口，根据此错误信息的官网介绍第五段，9000端口是HDFS端口。
（仅摘录重要信息）：

Traceback (most recent call last):
  File "/root/try.py", line 15, in <module>

    coap = spark.sql("select * from [表名] limit 5").collect()

py4j.protocol.Py4JJavaError: 
An error occurred while calling o42.collectToPython.
: java.net.ConnectException:
Call From master/127.0.1.1 to master:9000 failed on connection

问题出现的环境背景及自己尝试过哪些方法

按照spark官网Hive Tables文档第二段内容，将core-site.xml文件放在了$SPARK_HOME/conf目录下。其中有配置信息：

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.0.24:9000/</value>
    </property>

发现不管用之后，又根据官网文档Inheriting Hadoop Cluster Configuration的指南，把同文件夹下的spark-env.sh文件中HADOOP_CONF_DIR环境变量的值指向了$SPARK_HOME/conf的绝对路径（文件里写的并不是$SPARK_HOME），然而依然不管用。

spark-defaults.conf内也没有可能覆盖此项的配置，pyspark脚本里更没有。

Answer 1

我想问一句老哥解决没有，我现在也是这样解决不了