HDFS

HDFS

文章 118 浏览 209

Hadoop复制一个目录?

是否有HDFS API可以将整个本地目录复制到HDFS?我找到了一个用于复制文件的 API,但是有用于目录的 API 吗?…

素手挽清风 2024-10-12 14:35:41 2 0

HDFS中DFSClient和FileSystem的区别

Hadoop DFS (HDFS) 中的 DFSClient 协议和 FileSystem 类之间有什么区别? 这两个类都用于将远程客户端连接到 HDFS 中的名称节点。 因此,我想了解其…

怪异←思 2024-10-11 08:06:36 2 0

Hbase和Hive集成有什么好处

最近看到一篇博客,作者提到了Hbase和Hive的集成。这是否可能,如果可以的话,使用两者的优势是什么(在性能和可扩展性方面)。如果我错了,请纠正我…

空宴 2024-10-10 12:59:31 3 0

“distcp”和“distcp”之间的区别和“distcp -更新”?

之间有什么区别 hadoop distcp 和 hadoop distcp -update 他们都会做同样的工作,只是我们如何称呼它们略有不同。它们都不会覆盖目标中已存在的文件。…

初与友歌 2024-10-10 10:00:43 3 0

具有 HDFS 输入和 HBASE 输出的 hadoop map reduce 作业

我是hadoop新手。 我有一个 MapReduce 作业,应该从 Hdfs 获取输入并将减速器的输出写入 Hbase。我还没有找到任何好的例子。 这是代码,运行此示例的…

橘亓 2024-10-09 06:58:13 2 0

Hadoop namenode:单点故障

Hadoop架构中的Namenode是一个单点故障。 拥有大型 Hadoop 集群的人们如何应对这个问题? 是否有一种行业认可的、行之有效的解决方案,其中辅助 Namen…

苦笑流年记忆 2024-10-08 12:54:38 1 0

Hadoop从本地机器上传文件到amazon s3

我正在开发一个 Java MapReduce 应用程序,该应用程序必须能够为某些图片从用户的本地计算机到 S3 存储桶提供上传服务。 问题是该应用程序必须在 EC2 …

嗫嚅 2024-10-06 11:15:07 2 0

如何以编程方式有效地将文件从 HDFS 复制到 S3

我的 hadoop 作业在 HDFS 上生成大量文件,我想编写一个单独的线程将这些文件从 HDFS 复制到 S3。 任何人都可以向我指出任何处理它的 java API 吗? …

茶花眉 2024-09-18 18:27:30 2 0

如何使用 Ruby 在 Hadoop HDFS 中写入和读取文件?

有没有办法使用 Ruby 来使用 HDFS Api?据我了解,没有多语言文件 Api,唯一的方法是使用本机 Java Api。我尝试使用 JRuby,但这个解决方案不稳定并且…

始终不够 2024-09-07 16:55:39 6 0

除了Hadoop之外,还有什么可以在Windows上运行的分布式文件系统吗?

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

坏尐絯℡ 2024-09-07 09:03:55 6 0

用于构建分布式日志聚合器(如 Splunk)的最佳组件堆栈是什么?

我正在尝试找到可以用来构建类似于 Splunk 的最佳组件,以便聚合计算网格中大量服务器的日志。此外,它应该是分布式的,因为我每天都有大量的日志,并…

滥情稳全场 2024-09-06 14:58:29 3 0

Hadoop 安全模式恢复 - 花费大量时间

我们在 Amazon EC2 上运行集群。我们正在使用 cloudera 脚本来设置 hadoop。在主节点上,我们启动以下服务。 609 $AS_HADOOP '"$HADOOP_HOME"/bin/had…

倾`听者〃 2024-09-01 06:49:21 2 0

Hadoop伪分布式模式错误

我已经使用 Virtualbox 在 OpenSuse 11.2 VM 上设置了 Hadoop。我已经完成了先决条件配置。我在独立模式下成功运行了这个示例。 但在伪分布式模式下,…

合约呢 2024-08-28 11:56:49 6 0

Hadoop dfs -ls 返回我的 hadoop/ 目录中的文件列表

我已经设置了一个单节点 Hadoop 配置,在 Win7 下通过 cygwin 运行。启动 Hadoop 后bin/start-all.sh I run bin/hadoop dfs -ls which returns me a l…

伊面 2024-08-24 07:01:29 10 0

HDFS默认将文件存储在本地哪里?

我正在使用单节点集群的默认配置运行 hadoop,并且希望找到 HDFS 在本地存储文件的位置。 有什么想法吗? 谢谢。…

弱骨蛰伏 2024-08-23 08:14:45 8 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文