MapReduce

MapReduce

文章 106 浏览 158

为什么 Mutation 不为现有列进行插入

我正在将初始数据(爬虫程序的 URL 列表)加载到 Cassandra,状态已爬取 = 0。然后使用 Hadoop 我爬行所有链接并尝试将爬行从 0 更改为其他内容,例如…

怕倦 2024-11-27 02:49:04 1 0

如何设计我的映射器?

我必须编写一个mapreduce作业,但我不知道如何去做, 我有jar MARD.jar,通过它我可以实例化MARD对象。 我使用它来调用 mard.normalize 文件方法,即 …

冷了相思 2024-11-27 02:34:26 0 0

RavenDB 对列表属性进行 Map/Reduce

刚刚学习 Map/Reduce,我错过了一个步骤。我读过这篇文章(使用 .NET 客户端的 RavenDB Map-Reduce 示例 )但无法完全跳转到我需要的内容。 我有一个…

铜锣湾横着走 2024-11-26 20:27:23 0 0

使用mapReduce选择一行中的所有字段

我正在将猫鼬与nodejs一起使用。我正在使用 mapReduce 来获取按字段分组的数据。因此,它作为集合提供给我的只是仅来自数据库每一行的分组字段的键。 …

轻许诺言 2024-11-26 17:56:33 0 0

无法使用 hadoop 流运行 Java 类文件

每当我尝试使用 Java 类文件作为我的映射器和/或化简器时,我都会收到以下错误: java.io.IOException:无法运行程序“MapperTst.class”:java.io.IO…

非要怀念 2024-11-26 09:47:04 0 0

如何使外部引用表或数据库可供 Hadoop MapReduce 作业使用?

我正在 Hadoop MapReduce 作业中分析大量文件,输入文件为 .txt 格式。我的映射器和减速器都是用 Python 编写的。 但是,我的映射器模块需要访问外部 …

别低头,皇冠会掉 2024-11-26 06:56:37 0 0

使用 Hadoop MapReduce 进行并行缩减

我正在使用 Hadoop 的 MapReduce。我有一个文件作为地图函数的输入,地图函数做了一些事情(与问题无关)。我希望我的减速器能够获取地图的输出并写入…

旧夏天 2024-11-26 04:43:31 2 0

java.io.IOException:错误= 2,Hadoop流中没有这样的文件或目录错误

请帮助解决hadoop流的“-file”选项问题(在下面的链接中提到)。只是为了更新,我知道 jar 已经在那里,在我尝试 hadoop-streaming 不同的类文件失败…

¢好甜 2024-11-25 20:10:11 1 0

Java 类文件的 Hadoop Streaming -file 选项存在问题

我正在努力解决 hadoop 中的一个非常基本的问题 在“-file”选项中进行流式传输。 首先,我尝试了流媒体中非常基本的示例: hadoop@ubuntu:/usr/local…

熟人话多 2024-11-25 19:29:40 1 0

将变量发送到 Mapper 类

我试图从用户那里获取输入并将其传递给我创建的映射器类,但每当该值总是初始化为零而不是使用用户输入的实际值时。 如何确保每当我获取变量时它始终…

预谋 2024-11-25 09:12:03 1 0

通过java程序读取大输入文件(10gb)

我正在处理 2 个大型输入文件,每个文件大小约为 5GB。 它是 Hadoop MapReduce 的输出,但由于我无法在 MapReduce 中进行依赖项计算,因此我切换到优…

胡渣熟男 2024-11-25 08:26:39 0 0

CouchDB、MapReduce:查询时间片

为了使用 CouchDB 监视应用程序,我需要总结数据的一个字段(例如执行已记录的方法所需的时间)。 对于map-reduce来说这对我来说没有问题,但我只需要…

深者入戏 2024-11-25 08:17:49 0 0

在 CouchApp 视图中将参数传递给 map.js

我有一个 CouchApp,其功能类似于社交网络。我有一个“赞”按钮,当用户单击该按钮时,会创建并保存一个 CouchDB JSON 文档,其中包含字段 post_id(…

近箐 2024-11-25 04:31:03 1 0

mongoDb 中的查询和分组?

第 1 部分: 我有(学生)集合: { sname : "", studentId: "123" age: "", gpa: "", } 我试图从中仅获取两个密钥: { sname : "", studentId: "123" …

埋葬我深情 2024-11-25 02:00:24 0 0

帮助 MongoDB 中的地图缩减

我正在努力牢牢掌握 MapReduce 的工作原理以及何时使用它。我得到了一些没有意义的随机结果,但也许我对 MapReduce 的理解是错误的? 这是我正在做的…

旧话新听 2024-11-24 16:32:07 0 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文