Hector 的批处理突变与使用 Hadoop 作业将数据加载到 Cassandra 中的比较?

发布于 2024-11-30 08:33:54 字数 244 浏览 1 评论 0原文

有人可以强调 Hector 的批量突变和使用 Hadoop 作业将数据加载到 Cassandra 的优缺点吗?

我知道在 Hector 中你可以执行如下操作:

mutator.addInsertion(...);
mutator.execute();

在 Hadoop 中你可以使用 MR 作业将数据加载到 Cassandra 中。

我正在寻找使用或不使用它们的原因。谢谢!

Can someone highlight the pros and cons for Hector's batch Mutation and using Hadoop jobs to load data into Cassandra?

I know in Hector you can do something like the following:

mutator.addInsertion(...);
mutator.execute();

And in Hadoop you can use MR jobs to load data into Cassandra.

I'm looking for the reasons to use or not to use each of them. Thanks!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

迷雾森÷林ヴ 2024-12-07 08:33:54

如果数据源当前不在 hadoop(或 hbase)中,我建议仅使用如上所述的 Mutator 的多线程加载器来减少移动部件的数量。

这个要点已经过时了,但方法是相似的:
https://gist.github.com/397574

如果您想了解更多详细信息,请告诉我。

If the datasource is not currently in hadoop (or hbase) I would recommend just a multi-threaded loader using Mutator as above to keep down the number of moving parts.

This gist is dated, but the approach would be similar:
https://gist.github.com/397574

Let me know if you want more details.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文