无法使用单节点hadoop服务器运行pig

Question

我已经用 ubuntu 设置了虚拟机。它作为单个节点运行 hadoop。后来我在上面安装了apache pig。 apache pig 在本地模式下运行得很好，但它总是出现错误 2999：意外的内部错误。无法创建 DataStorage

我遗漏了一些非常明显的东西。有人可以帮我让它运行吗？

更多详情： 1. 我假设 hadoop 运行良好，因为我可以在 python 中运行 MapReduce 作业。 2. pig -x local 按我的预期运行。 3.当我只是输入 pig 时，它给了我以下错误

Error before Pig is launched
----------------------------
ERROR 2999: Unexpected internal error. Failed to create DataStorage

java.lang.RuntimeException: Failed to create DataStorage
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:75)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.(HDataStorage.java:58)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:214)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.init(HExecutionEngine.java:134)
    at org.apache.pig.impl.PigContext.connect(PigContext.java:183)
    at org.apache.pig.PigServer.(PigServer.java:226)
    at org.apache.pig.PigServer.(PigServer.java:215)
    at org.apache.pig.tools.grunt.Grunt.(Grunt.java:55)
    at org.apache.pig.Main.run(Main.java:452)
    at org.apache.pig.Main.main(Main.java:107)
Caused by: java.io.IOException: Call to localhost/127.0.0.1:54310 failed on local exception: java.io.EOFException
    at org.apache.hadoop.ipc.Client.wrapException(Client.java:775)
    at org.apache.hadoop.ipc.Client.call(Client.java:743)
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)
    at $Proxy0.getProtocolVersion(Unknown Source)
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
    at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:207)
    at org.apache.hadoop.hdfs.DFSClient.(DFSClient.java:170)
    at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.pig.backend.hadoop.datastorage.HDataStorage.init(HDataStorage.java:72)
    ... 9 more
Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:375)
    at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)
================================================================================

Answer 1

链接帮助我了解了可能的失败原因。

这就是解决我的问题的方法。
1. 重新编译pig，无需hadoop。
2. 更新 PIG_CLASSPATH 以包含 $HADOOP_HOME/lib 中的所有 jar
3、跑猪。

谢谢。

Answer 2

将 PIG_CLASSPATH 设置为指向正确的 HADOOP_HOME 安装，以便 Pig 可以从 core-site.xml、mapreduce-site.xml 和 hdfs-site.xml 获取集群信息，最好按照链接进行正确安装。

Answer 3

只需安装 Cygwin，然后将 Cygwin 路径添加到 Path 环境变量即可：

有关详细信息，请参阅此处。