HDFS中DFSClient和FileSystem的区别
Hadoop DFS (HDFS) 中的 DFSClient 协议和 FileSystem 类之间有什么区别? 这两个类都用于将远程客户端连接到 HDFS 中的名称节点。 因此,我想了解其…
“distcp”和“distcp”之间的区别和“distcp -更新”?
之间有什么区别 hadoop distcp 和 hadoop distcp -update 他们都会做同样的工作,只是我们如何称呼它们略有不同。它们都不会覆盖目标中已存在的文件。…
具有 HDFS 输入和 HBASE 输出的 hadoop map reduce 作业
我是hadoop新手。 我有一个 MapReduce 作业,应该从 Hdfs 获取输入并将减速器的输出写入 Hbase。我还没有找到任何好的例子。 这是代码,运行此示例的…
Hadoop namenode:单点故障
Hadoop架构中的Namenode是一个单点故障。 拥有大型 Hadoop 集群的人们如何应对这个问题? 是否有一种行业认可的、行之有效的解决方案,其中辅助 Namen…
Hadoop从本地机器上传文件到amazon s3
我正在开发一个 Java MapReduce 应用程序,该应用程序必须能够为某些图片从用户的本地计算机到 S3 存储桶提供上传服务。 问题是该应用程序必须在 EC2 …
如何以编程方式有效地将文件从 HDFS 复制到 S3
我的 hadoop 作业在 HDFS 上生成大量文件,我想编写一个单独的线程将这些文件从 HDFS 复制到 S3。 任何人都可以向我指出任何处理它的 java API 吗? …
如何使用 Ruby 在 Hadoop HDFS 中写入和读取文件?
有没有办法使用 Ruby 来使用 HDFS Api?据我了解,没有多语言文件 Api,唯一的方法是使用本机 Java Api。我尝试使用 JRuby,但这个解决方案不稳定并且…
除了Hadoop之外,还有什么可以在Windows上运行的分布式文件系统吗?
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
用于构建分布式日志聚合器(如 Splunk)的最佳组件堆栈是什么?
我正在尝试找到可以用来构建类似于 Splunk 的最佳组件,以便聚合计算网格中大量服务器的日志。此外,它应该是分布式的,因为我每天都有大量的日志,并…
Hadoop 安全模式恢复 - 花费大量时间
我们在 Amazon EC2 上运行集群。我们正在使用 cloudera 脚本来设置 hadoop。在主节点上,我们启动以下服务。 609 $AS_HADOOP '"$HADOOP_HOME"/bin/had…
Hadoop伪分布式模式错误
我已经使用 Virtualbox 在 OpenSuse 11.2 VM 上设置了 Hadoop。我已经完成了先决条件配置。我在独立模式下成功运行了这个示例。 但在伪分布式模式下,…
Hadoop dfs -ls 返回我的 hadoop/ 目录中的文件列表
我已经设置了一个单节点 Hadoop 配置,在 Win7 下通过 cygwin 运行。启动 Hadoop 后bin/start-all.sh I run bin/hadoop dfs -ls which returns me a l…