我们如何比较 localfile 和 hdfs 文件的一致性

Question

    public String getDirs() throws IOException{
        fs=FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("/private/tmp/as"), new Path("/test"));
        LocalFileSystem lfs=LocalFileSystem.getLocal(conf);

//      System.out.println(new LocalFileSystem().ge (conf.getLocalPath("/private/tmp/as")));
        System.out.println("Local Path : "+lfs.getFileChecksum(new Path("/private/tmp/as")));   
        System.out.println("HDFS PATH : "+ fs.getFileChecksum(new Path("/test/as")));
        return "done";
    }

输出是

本地路径：空 HDFS 路径：MD5-of-0MD5-of-512CRC32:a575c5e99b2e08605dc7c6723889519c

不确定为什么本地文件的校验和为空

Answer 1

Hadoop 依赖文件系统来准备匹配的校验和。它不会即时生成一个。

默认情况下，LocalFileSystem（或用于 file:// 路径的特定实现）不会为通过它创建的所有文件创建/存储校验和。您可以通过 FileSystem#setWriteChecksum API 调用，随后检索写入后的校验和即可工作。