MapReduce

MapReduce

文章 106 浏览 158

出现错误“ImportError:找不到“input_readers”在路径“映射缩减”上尝试启动mapReduce作业

尝试通过 http://localhost:8080/mapreduce 启动器页面。 看来我的问题与这篇文章类似,AppEngine 映射器 API 导入错误。不幸的是,没有给出明确的答…

莳間冲淡了誓言ζ 2024-12-10 02:01:42 1 0

从 JobTracker 上已完成的作业中获取 org.apache.hadoop.mapreduce.Job

我正在使用 org.apache.hadoop.mapreduce.Job 来创建/提交/运行 MR 作业(Cloudera3,20.2),完成后,在一个单独的应用程序中,我尝试让作业抓取计数…

野却迷人 2024-12-09 15:05:20 0 0

MapReduce排序迭代器

我正在阅读MapRedcue的源代码,以更好地了解MapReduce的内部机制。当我试图理解映射阶段生成的数据如何合并并发送到reduce函数以进行进一步处理时,我…

挽心 2024-12-09 13:38:52 0 0

映射减少沙发数据库

我有一个带有 couch db 的简单数据库。我的用户有该字段: String userName String password String mail boolean admin 我将我的用户保留在数据库中…

江湖正好 2024-12-09 08:12:31 0 0

如何为以下情况设计 couchdb 视图?

我正在将应用程序从 mySQL 迁移到 couchDB。 (好吧,请不要对此做出判断)。 有一个带有签名的函数 getUserBy($column, $value) 现在您可以看到,对…

格子衫的從容 2024-12-09 06:40:05 0 0

如何为简单的 MapReduce 作业指定 BlobstoreOutputWriter 的文件名?

如何或在哪里指定 GAE MapReduce 作业的 output_writer 文件名和内容类型?下面的配置对我来说工作正常,但每次运行作业时它都会创建一个带有新文件名…

祁梦 2024-12-09 03:50:34 0 0

hadoop-streaming:将输出写入不同的文件

这是在reducer中的场景 Reducer1 / Mapper - - Reducer2 \ ReducerN ,我想将数据写入不同的文件,假设reducer看起来像 def reduce(): for line in sy…

伤感在游骋 2024-12-09 02:46:10 0 0

ChainReducer 中的链多重归约

我需要使用映射减少链接来链接这样的映射减少作业。 [地图-->减少-->地图-->减少-->地图-->地图]。看着ChainReducer的Javadocs,我感觉这是不可能的。…

雪落纷纷 2024-12-09 00:28:18 0 0

如何仅保留集合的定义子集

我只想保留集合的定义子集。我没有找到任何相关信息。这很难解释,所以我举了一个例子: 假设我有这个集合: db.mycollection.save({ "category" : 12…

喵星人汪星人 2024-12-08 16:57:10 0 0

使用映射和归约技术进行排序

给定一个巨大的整数数据集,使用映射和归约技术相对于传统排序算法(例如快速排序和合并排序)有什么优势?…

眼眸里的快感 2024-12-08 16:21:19 0 0

Hadoop:java.io.IOException:属性中没有有效的本地目录:mapred.local.dir

当我运行 hadoop 作业时,它失败并显示以下堆栈跟踪: 11/10/06 13:12:49 INFO mapred.FileInputFormat: Total input paths to process : 1 11/10/06 …

可可 2024-12-08 13:41:37 0 0

在 Map/Reduce 中运行 MongoDB 查询

是否可以运行 MongoDB 命令(例如查询)以获取其他数据或在 MongoDB 的 MapReduce 命令中进行更新。是在Map函数中还是在Reduce函数中? 无论如何,这…

北城孤痞 2024-12-08 13:09:18 0 0

hadoop:四核机器上映射/减少作业的最佳数量

我试图通过谷歌找到答案,但没有找到好的参考资料, - I have a Quad-core Ubuntu box running a map-reduce job. - running default 2 maps and taki…

╭ゆ眷念 2024-12-08 12:12:52 0 0

如何配置hadoop mapreduce,以便我的mapreduce类的日志可以输出到文件?

我修改了 $HADOOP_HOME/conf/log4j.properies 但它并没有按照我的预期工作。 如何解决这个问题呢?…

掩饰不了的爱 2024-12-07 17:01:50 0 0

MapReduceBase 和 Mapper 已弃用

public static class Map extends MapReduceBase implements Mapper MapReduceBase、Mapper 和 JobConf 在 Hadoop 0.20.203 中已弃用。 我们现在应该…

寒江雪… 2024-12-07 15:12:09 0 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文