MapReduce

MapReduce

文章 106 浏览 157

输入格式是否负责在 Hadoop 的 MapReduce 中实现数据局部性?

我试图了解数据局部性,因为它与 Hadoop 的 Map/Reduce 框架相关。特别是我试图了解什么组件处理数据局部性(即它是输入格式?) 雅虎的开发者网络页…

初吻给了烟 2024-11-09 16:50:23 0 0

尝试获取 MongoDB 字段中每个单词的计数是 MapReduce 的工作吗?

我有一个集合,里面有很多正文帖子。例如: posts = { { id: 0, body: "foo bar baz", otherstuff: {...} }, { id: 1, body: "baz bar oof", otherstu…

朱染 2024-11-09 14:44:04 0 0

旅行推销员和 Map/Reduce:放弃通道

这是一个学术问题而不是实际问题。在旅行商问题或任何其他涉及寻找最小优化的问题中……如果使用映射/归约方法,那么采用某种方法将当前最小结果广播…

留一抹残留的笑 2024-11-09 07:53:06 0 0

如何获取 MongoDB 中子数组的最小值/最大值?

因此,我遇到了使用数组标记文档的情况,例如: tags: [ 'Housing' : 10, 'Retail' : 1, 'Stocks' : 25, ] 我只是保存标签本身,但最近添加了数字,因…

归属感 2024-11-09 02:42:49 1 0

MapReduce 在原始函数式语言中的可扩展性如何?

Map-Reduce 编程模型源于映射和化简函数,这些函数早在 Lisp 和Scheme 等函数式语言中就已存在。 我记得在大学(90 年代初)时,我就被告知 Map-Reduc…

绝影如岚 2024-11-08 23:22:32 0 0

在 Google App Engine 中使用 mapreduce 的简单反例

我对 GAE 中 MapReduce 支持的当前状态有些困惑。根据文档http://code.google.com/p/appengine-mapreduce/减少阶段是尚不支持,但在 I/O 2011 会议的…

深陷 2024-11-08 22:54:59 0 0

“合并”在 CouchDB 中查看有用输出的排序规则

在 CouchDB 中执行“连接”时,您可以使用视图排序规则将记录分组在一起。例如,有两种文档类型客户和订单。这样您就可以返回客户,然后返回该客户的…

玩心态 2024-11-08 18:00:20 0 0

Lua 有 MapReduce 库吗?

是否有Lua的MapReduce库? (我显然找不到)…

旧伤还要旧人安 2024-11-08 16:57:56 0 0

映射/减少 Couchbase 和 Couchbase 之间的差异云蚂蚁

我一直在使用 Couchbase Server,现在只是尝试将本地数据库复制到 Cloudant,但是我的 map/reduce 函数对使用其关联项目构建一组唯一标签时得到了相互…

失与倦" 2024-11-08 15:02:24 0 0

cygwin hadoop 映射减少问题

我在获取 map/reduce 示例在 cygwin 上工作时遇到问题: http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/ 在…

葬花如无物 2024-11-08 13:36:20 0 0

Hadoop wordcount 无法运行 - 需要解码 hadoop 错误消息的帮助

我需要一些帮助来找出我的工作失败的原因。我建了一个单 节点集群只是为了尝试一下。我按照这里的示例。 一切似乎都工作正常。我格式化了 namenode,…

软糖 2024-11-07 20:31:21 0 0

Hadoop mysql 限制减速器

我正在使用 hadoop 更新 mysql 数据库中的一些记录... 我看到的问题是,在某些情况下,会为同一键集启动多个减速器。 我见过最多 2 个减速器在不同的…

锦欢 2024-11-07 19:42:47 0 0

MapReduce编程

我已经在java上完成了这段代码,它收集有关照片的各种信息并将结果提取到文本文件中。 我想将此程序转换为与 MapReduce 模型一起运行。 我是 MapReduc…

拒绝两难 2024-11-07 19:28:33 0 0

如何在 Haoop v 0.21 中调用 Partitioner

在我的应用程序中,我想根据键创建尽可能多的减速器作业。现在,我当前的实现将所有键和值写入单个(reducer)输出文件中。所以为了解决这个问题,我…

金橙橙 2024-11-07 19:28:26 0 0

Hadoop 管道和新的 mapred 包

是否有任何工作正在进行将 Hadoop 管道从 MapRed 移植到 MapReduce 包? 谢谢, 梅格…

风向决定发型 2024-11-07 18:49:06 0 0
更多

推荐作者

lorenzathorton8

文章 0 评论 0

Zero

文章 0 评论 0

萧瑟寒风

文章 0 评论 0

mylayout

文章 0 评论 0

tkewei

文章 0 评论 0

17818769742

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文