Hadoop的HDFS的java client jar包在哪下载?

发布于 2022-09-02 09:11:17 字数 2712 浏览 19 评论 0

Hadoop的HDFS的java客户端编程接口的jar包在哪?
我在网上找到如下示例代码:

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.Path;

class HDFSClient {

    static public void sampleHdfsWrite(String hdfs_url, String file) throws Exception {
        FileSystem hdfs = FileSystem.get(new Configuration());
        Path localfile = new Path(file);
        Path hdfspath = new Path("/");
        hdfs.copyFromLocalFile(localfile, hdfspath);
    }

    static public void sampleHdfsRead(String hdfs_url, String file) throws Exception {
        FileSystem hdfs = FileSystem.get(new Configuration());
        Path localfile = new Path("./" + file + ".backup");
        Path hdfspath = new Path("/" + file);
        hdfs.copyToLocalFile(hdfspath, localfile);
    }

}

一般来说,mysql、redis、mongodb都会有一个java client jar包,导入项目就可以调用API来存取数据了。HDFS我找了半天,发现在maven repository上的Hadoop-Core这个jar包可用:Maven Repository: org.apache.hadoop Â
尝试本地FileSystem拷贝文件,缺少一大堆apache.common、apache.lang之类的包,没关系,我都搜到了,下载导入项目,然后第一个例子跑通了。

第二个例子是从windows host向我的Vmware虚拟机Fedora上运行的伪分布式HDFS中拷贝一个文件,出错信息是org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.Path;

class HDFSClient {

    static public void sampleHdfsWrite(String hdfs_url, String file) throws Exception {
         FileSystem hdfs = FileSystem.get(new URI(hdfs_url), new Configuration(), "root");
        Path localfile = new Path(file);
        Path hdfspath = new Path("/");
        hdfs.copyFromLocalFile(localfile, hdfspath);
    }

    static public void sampleHdfsRead(String hdfs_url, String file) throws Exception {
        FileSystem hdfs = FileSystem.get(new URI(hdfs_url), new Configuration(), "root");
        Path localfile = new Path("./" + file + ".backup");
        Path hdfspath = new Path("/" + file);
        hdfs.copyToLocalFile(hdfspath, localfile);
    }
     static public void main(String arg[]) throws Exception {
        sampleHdfsWrite("hdfs://192.168.150.149", "testfile.js");
        sampleHdfsRead("hdfs://192.168.150.149", "testfile.js");
    }
}

bing了一下大概意思是client的版本和Fedora中的版本不一致。
maven上Hadoop-Core这个jar包的版本是从0.20.x一直到1.2.x,而Fedora上的Hadoop是2.4.1(-2.7.2),我猜可能我根本就用错了包,可能这个hadoop-core是1.x代的hadoop。可能hadoop本身就是没有java client jar包的。我现在有2.7.1的hadoop-2.7.1.tar.gz,但是里面哪个jar才有我上面import的那些类呢?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

微凉徒眸意 2022-09-09 09:11:17

你的项目不用Maven的话,手动去Maven的中央仓库找吧,地址:http://mvnrepository.com/

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文