用Scala计数HDFS目录中的文件

Question

在Scala中，我正在尝试计算HDFS目录的文件。 我尝试获取具有val files = fs.listfiles（path，false）的文件列表，并依靠它或获取大小，但它不适用于files类型IS 远程标准器[stuentfilestatus]

关于如何处理的任何想法？

感谢您的帮助

Answer 1

这是之前已经完成的，但人们通常使用fsimage。 （名称节点文件的副本。）

然后他们将其扔进蜂巢表中，然后您可以查询有关HDFS文件系统的信息。

这是 /a>说明如何导出FSIMAGE并将其扔进蜂巢桌。

这是另一个我想我喜欢 ：

获取并将fsimage文件复制到HDFS中
＃Connect与HDFS用户

的任何Hadoop群集节点

  #downloads从Namenode
HDFS dfsadmin -fetchimage /tmp

#convert fsimage文件到选项卡中的划界文件
HDFS OIV -I /TMP /FSIMAGE_000000000000450297390 -O /TMP/FSIMAGE.CSV -P界定

＃Remove标题并将其复制到HDFS
sed -i -e“ 1d” fsimage.csv
HDFS DFS -MKDIR /TMP /FSIMAGE
HDFS DFS -CopyFromlocal /Tmp/fsimage.csv /tmp /fsimage

＃在Impala中创建中间桌
创建外部表HDFS_META_D（ 
 路径字符串， 
 repl int， 
 modification_time字符串， 
 访问时间字符串， 
 preferredblocksize int， 
 封锁双重， 
 文件大小，double， 
 nsquota int， 
 dsquota int， 
 权限字符串， 
 用户名字符串， 
 groupName字符串） 
行格式定界
由“ \ t”终止的字段
位置'/tmp/fsimage';
 

在表中，您确实可以在Scala/Spark中完成其余的HDFS用户。

Answer 2

我最终使用：

var count: Int = 0
while (files.hasNext) {
  files.next
  count += 1
}

作为Scala Begginer，我不知道如何制作count ++（答案是count> count+= 1）。这实际上很安静