HBase MapReduce 是否支持组合器阶段?如果是这样,怎么办?

发布于 2024-10-16 01:20:51 字数 70 浏览 2 评论 0原文

Hadoop MapReduce 支持组合器阶段。但是,我在 HBase MapReduce 包中找不到类似的功能。它存在吗?

Hadoop map reduce supports a combiner stage. However, I can't find a similar capability in the HBase MapReduce package. Does it exist?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

翻了热茶 2024-10-23 01:20:51

如果您正在运行使用 HBase 作为输入格式和非 hbase 输出格式的 MapReduce 作业,则情况是相同的。

组合器是一种仅对单个映射器的输出进行操作的缩减器。只要你只在你的reducer中做幂等的事情,那么你可以通过简单地说:job.setCombiner(.class);将你的reducer放入combiner槽中。

If you are running a MapReduce job with HBase as an input format and non-hbase output formats it is the same.

A combiner is a reducer that only operates on the output of a single mapper. As long as you only do things that are idempotent in your reducer, than you can put your reducer in the combiner slot by simply saying: job.setCombiner(.class);

橙幽之幻 2024-10-23 01:20:51

您可以使用 job.setCombiner(.class);在MapReduce中使用Combiner类的方法。减速器也将充当组合器

You can use job.setCombiner(.class); method to use combiner class in map reduce. Reducer will aslso acts as an combiner

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文