Hadoop fs 查找块大小？

Question

在 Hadoop fs 中如何查找特定文件的块大小？

我主要对命令行感兴趣，例如：

hadoop fs ... hdfs://fs1.data/...

但它看起来不存在。有Java解决方案吗？

Answer 1

其他答案中的 fsck 命令列出了块并允许您查看块的数量。但是，要查看实际块大小（以字节为单位）且没有额外的麻烦，请执行以下操作：

hadoop fs -stat %o /filename

默认块大小为：

hdfs getconf -confKey dfs.blocksize

有关单位的详细信息

然而，块大小的单位未记录在 hadoop fs -stat 命令中，看着 源代码行 和 它调用的方法的文档< /a> 我们可以看到它使用字节并且无法报告超过大约 9 艾字节的块大小。

hdfs getconf 命令的单位可能不是字节。它返回配置文件中用于 dfs.blocksize 的任何字符串。 （这可以在 最终函数和其间接调用者）

Answer 2

似乎 hadoop fs 没有选项可以执行此操作。

但hadoop fsck 可以。

你可以试试这个

$HADOOP_HOME/bin/hadoop fsck /path/to/file -files -blocks

Answer 3

我认为这应该是可行的：

hadoop fsck /filename -blocks

但我得到连接被拒绝

Answer 4

尝试编写下面的代码

path=hdfs://a/b/c

size=`hdfs dfs -count ${path} | awk '{print $3}'`
echo $size

Answer 5

为了显示 HDFS 中现有文件的实际块大小，我使用了：

[pety@master1 ~]$ hdfs dfs -stat %o /tmp/testfile_64
67108864