Hadoop不同salve节点可以区分以处理不同的指定数据吗?

发布于 2022-08-28 12:28:29 字数 446 浏览 17 评论 0

我的需求是这样的:

比如有三个文件需要作为mapper输入处理:file01, file02和file03。

另外还有三个文件作为配置参数存放在本地:r1, r2和r3。

我的mapper程序需要对r1,r2和r3做处理并分别生成三个不同的处理实例,处理算法一样,只是参数不同,所以生成了不同的类实例如p1, p2和p3,然后我想让p1只处理file01,p2只处理file02,p3处理只file03,并分别放到三个slave节点上各自处理,互不影响,然后将计算结果通过reduce进行汇总,这样可以吗?

我这样的目的是为了性能开销,因为r1,r2和r3实例都非常大,如果合并成一个实例计算太慢。以我的知识,这样的需求在Hadoop上不能实现,因为Hadoop上map输入文件似乎是不可区分的。急,求Hadoop大神帮忙提个想法,非常感谢。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文