“distcp”和“distcp”之间的区别和“distcp -更新”？
之间有什么区别 hadoop distcp 和 hadoop distcp -update 他们都会做同样的工作，只是我们如何称呼它们略有不同。它们都不会覆盖目标中已存在的文件。…
具有 HDFS 输入和 HBASE 输出的 hadoop map reduce 作业
我是hadoop新手。 我有一个 MapReduce 作业，应该从 Hdfs 获取输入并将减速器的输出写入 Hbase。我还没有找到任何好的例子。 这是代码，运行此示例的…
Hadoop namenode：单点故障
Hadoop架构中的Namenode是一个单点故障。 拥有大型 Hadoop 集群的人们如何应对这个问题？ 是否有一种行业认可的、行之有效的解决方案，其中辅助 Namen…
Hadoop从本地机器上传文件到amazon s3
我正在开发一个 Java MapReduce 应用程序，该应用程序必须能够为某些图片从用户的本地计算机到 S3 存储桶提供上传服务。 问题是该应用程序必须在 EC2 …
如何以编程方式有效地将文件从 HDFS 复制到 S3
我的 hadoop 作业在 HDFS 上生成大量文件，我想编写一个单独的线程将这些文件从 HDFS 复制到 S3。 任何人都可以向我指出任何处理它的 java API 吗？ …
如何使用 Ruby 在 Hadoop HDFS 中写入和读取文件？
有没有办法使用 Ruby 来使用 HDFS Api？据我了解，没有多语言文件 Api，唯一的方法是使用本机 Java Api。我尝试使用 JRuby，但这个解决方案不稳定并且…
除了Hadoop之外，还有什么可以在Windows上运行的分布式文件系统吗？
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
用于构建分布式日志聚合器（如 Splunk）的最佳组件堆栈是什么？
我正在尝试找到可以用来构建类似于 Splunk 的最佳组件，以便聚合计算网格中大量服务器的日志。此外，它应该是分布式的，因为我每天都有大量的日志，并…
Hadoop 安全模式恢复 - 花费大量时间
我们在 Amazon EC2 上运行集群。我们正在使用 cloudera 脚本来设置 hadoop。在主节点上，我们启动以下服务。 609 $AS_HADOOP '"$HADOOP_HOME"/bin/had…
Hadoop伪分布式模式错误
我已经使用 Virtualbox 在 OpenSuse 11.2 VM 上设置了 Hadoop。我已经完成了先决条件配置。我在独立模式下成功运行了这个示例。 但在伪分布式模式下，…
Hadoop dfs -ls 返回我的 hadoop/ 目录中的文件列表
我已经设置了一个单节点 Hadoop 配置，在 Win7 下通过 cygwin 运行。启动 Hadoop 后bin/start-all.sh I run bin/hadoop dfs -ls which returns me a l…
hadoop.tmp.dir 应该是什么？
Hadoop 有配置参数 hadoop.tmp.dir，根据文档，它是““其他临时目录的基础。” 我推测，此路径指的是本地文件系统。 我将此值设置为 /mnt/hadoop-tmp…
Hadoop DFS权限错误
2009/08/11 13:25:39 [INFO] - put: org.apache.hadoop.fs.permission.AccessControlException: Permission denied: user=yskhoo, access=WRITE, inod…
