带附加功能的 HDFS 是如何工作的
假设一个文件使用默认块大小 (128 MB)，并且有一个文件使用 130 MB；因此使用 1 个全尺寸块和 1 个 2 MB 块。然后需要将 20 MB 附加到文件中（现在总…
关于hadoop文件系统transferFromLocalFile
我正在编写代码以并行传输文件到 hadoop hdfs。所以我有很多线程调用 filesystem.copyFromLocalFile。 我认为打开一个文件系统的成本不小，所以我的项…
使用 hadoop MiniDFSCluster 时出现 javax.management.InstanceAlreadyExistsException
我正在使用 MiniDFSCluster 进行 junit 测试。 现在我只是启动和关闭集群，junit 运行绿色。 但我得到了这个例外： javax.management.InstanceAlready…
启动作业时出现 oozie 问题
命令： oozie job -oozie http://localhost:8080/oozie -config /home/hadoop/Desktop/Cloudera/oozie-2.3.0-cdh3u1/examples/apps/no-op/job.propert…
HDFS 中使用不同日志文件大小的原理是什么
我目前正在为我设置的新 Hadoop 集群实现一个日志系统。我过去一直看到这些设置的方式是按天分割日志，单个文件以大约 10 倍 HDFS 块大小分割。当我需…
Hadoop - Map-Reduce 任务如何知道要处理文件的哪一部分？
我已经开始学习 hadoop，目前我正在尝试处理结构不太好的日志文件 - 因为我通常用于 M/R 键的值通常位于文件的顶部（一旦）。所以基本上我的映射函数…
如何使用 Ruby 在 MapR HDFS 中保存文件
有没有办法使用 Ruby 中的 Hadoop MapR 发行版将文件保存在 HDFS 中？ 显然，有一个名为 thriftfs 的 Thrift API，可以从客户端与 HDFS 进行通信，但…
Hadoop：生成 SequenceFile 的示例过程，其中包含要在 map/reduce 中处理的图像二进制文件
以下 Hadoop：如何访问（许多）照片图像要通过map/reduce处理？问题，其中orangeoctopus提供了加载图像二进制文件并将其收集到 SequenceFiles 中以提…
