hadoop无法访问s3

Question

我有一个关于 aws 上的 hadoop 访问 s3 的问题。

<property>
<name>fs.default.name</name>
<value>s3n://testhadoophiveserver</value>
</property>

<property>

<name>fs.s3n.awsAccessKeyId</name>
<value>I have fill it</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>I have fill it</value>
</property>

所以，当我运行 start-all.sh 时，我收到了错误代码。 像这样：

hadoopmaster: Exception in thread "main" java.net.UnknownHostException: unknown host: testhadoophiveserver
hadoopmaster:   at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)

hadoopmaster:   at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)

adoopmaster:    at org.apache.hadoop.ipc.Client.call(Client.java:720)

hadoopmaster:   at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

hadoopmaster:   at $Proxy4.getProtocolVersion(Unknown Source)

hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:346)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:383)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:314)

但是，如果我使用 HDFS，那就没问题了。 现在，我无法使用S3文件系统。 谁能帮助我？

Answer 1

我认为你不应该运行“start-all.sh”。
脚本“start-all.sh”包含启动HDFS和MapReduce的代码。
如果您已配置使用S3作为底层存储层，则无需启动HDFS。
start-dfs.sh被start-all.sh调用，所以它会执行你没有配置的启动HDFS的代码。