hadoop

hadoop

文章 899 浏览 339

输入格式是否负责在 Hadoop 的 MapReduce 中实现数据局部性?

我试图了解数据局部性,因为它与 Hadoop 的 Map/Reduce 框架相关。特别是我试图了解什么组件处理数据局部性(即它是输入格式?) 雅虎的开发者网络页…

初吻给了烟 2024-11-09 16:50:23 0 0

Hadoop 映射器可以在输出中生成多个键吗?

单个 Mapper 类可以在一次运行中生成多个键值对(相同类型)吗? 我们在映射器中输出键值对,如下所示: context.write(key, value) 这是键的精简(和…

猫性小仙女 2024-11-09 16:41:53 0 0

Hadoop 似乎在对给定reduce 调用的值进行迭代期间修改了我的关键对象

Hadoop 版本:0.20.2(在 Amazon EMR 上) 问题:我有一个在映射阶段编写的自定义密钥,我在下面添加了该密钥。在reduce 调用期间,我对给定键的值进…

栖迟 2024-11-09 06:09:23 0 0

如何在不使用已弃用的类的情况下编写 Hadoop MapReduce 作业?

我知道这是我的强迫症,但我无法忍受在我的代码中出现已弃用的引用。 也就是说,Hadoop 教程,包括“权威指南”一书,仅使用已弃用的 JobConf 类和来…

五里雾 2024-11-09 05:32:17 0 0

如何调用包中qlready的输入文件

在我的 Hadoop MapReduce 应用程序中,我有一个输入文件。我希望当我执行应用程序的 jar 时,将自动调用输入文件。为此,我编写了一个类来指定输入、…

聚集的泪 2024-11-09 04:57:10 1 0

MapReduce 在原始函数式语言中的可扩展性如何?

Map-Reduce 编程模型源于映射和化简函数,这些函数早在 Lisp 和Scheme 等函数式语言中就已存在。 我记得在大学(90 年代初)时,我就被告知 Map-Reduc…

绝影如岚 2024-11-08 23:22:32 0 0

cygwin hadoop 映射减少问题

我在获取 map/reduce 示例在 cygwin 上工作时遇到问题: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ 在…

葬花如无物 2024-11-08 13:36:20 0 0

为hadoop作业指定多个输入文件

有没有办法为一个 hadoop 作业指定多个输入文件? 我尝试过使用“,”进行分隔,但这不起作用......还有其他建议吗? 我能够做到这一点...通过编写自…

じее 2024-11-08 12:10:38 1 0

Hadoop Pipes 的链接器错误

这里是 Hadoop n00b,刚刚开始使用 Hadoop Pipes。我在使用 hadoop-0.20.203(当前最新版本)编译一个简单的 WordCount 示例时遇到链接器错误,该示例…

寄意 2024-11-08 09:14:58 0 0

在 udf 中加载外部属性文件

当编写 UDF 时,比如说 EvalFunc, properties = new Properties() properties.load(new FileInputStream("conf/config.properties")) 在 Hadoop 模式…

心如荒岛 2024-11-08 03:39:57 0 0

在 R 和 Hive (Hadoop) 数据库之间建立连接

有谁知道如何实现这一目标? 我假设 RJDBC 会有所帮助;但根据我(可能很天真的)的理解,为此编写或调整 Hive 驱动程序需要进行一些调整。 相关文档…

蒗幽 2024-11-08 02:59:06 1 0

Hadoop作业如何自行杀死

有没有办法杀死 Hadoop 作业本身或发送信号来杀死它。 我已经从 jobConf 中阅读了配置设置,其中表示如果用户指定了错误的设置,我需要终止作业或引发…

慕巷 2024-11-08 01:52:44 0 0

使用 Hadoop 更新 MySQL

我正在使用我的减速器将数据输入 MySQL。 我担心的是,在某些情况下,会同时为同一个密钥启动多个减速器。在这种情况下,数据库有可能被相同的数据更…

攀登最高峰 2024-11-07 23:56:50 0 0

如何在 Scala 2.9.0 中实现 Hadoop Mapper?

当我从 2.8.1 迁移到 Scala 2.9.0 时,除了 Hadoop 映射器之外,所有代码都可以正常工作。因为我有一些包装对象,所以我提炼出以下示例: import org.…

森林很绿却致人迷途 2024-11-07 21:05:12 1 0

Hadoop wordcount 无法运行 - 需要解码 hadoop 错误消息的帮助

我需要一些帮助来找出我的工作失败的原因。我建了一个单 节点集群只是为了尝试一下。我按照这里的示例。 一切似乎都工作正常。我格式化了 namenode,…

软糖 2024-11-07 20:31:21 0 0
更多

推荐作者

lorenzathorton8

文章 0 评论 0

Zero

文章 0 评论 0

萧瑟寒风

文章 0 评论 0

mylayout

文章 0 评论 0

tkewei

文章 0 评论 0

17818769742

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文