Elastic-Job的处理逻辑中关于DataflowJob的疑问?

发布于 2021-12-04 06:39:46 字数 288 浏览 918 评论 1

Elastic-Job的处理逻辑中,这里切分数据是将fetchData()返回的数据切分然后分片到不同的机器执行processData()吧,切分出的数据是平均的吗?比如9条数据,分为3片,每台机器执行3条数据?
因为根据本人实践,切分出的数据是不平均的,而且有一台机器是重复的全部数据。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

终陌 2021-12-05 11:51:03

不会切分数据,只会切分分片项。分片项和业务逻辑需要业务开发人员自己对应。分片策略是均分。也可以自己实现分片策略。详见:http://dangdangdotcom.github.io/elastic-job/elastic-job-lite/02-guide/job-sharding-strategy/

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文