Elastic-Job的处理逻辑中关于DataflowJob的疑问?
Elastic-Job的处理逻辑中,这里切分数据是将fetchData()返回的数据切分然后分片到不同的机器执行processData()吧,切分出的数据是平均的吗?比如9条数据,分为3片,每台机器执行3条数据?
因为根据本人实践,切分出的数据是不平均的,而且有一台机器是重复的全部数据。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
不会切分数据,只会切分分片项。分片项和业务逻辑需要业务开发人员自己对应。分片策略是均分。也可以自己实现分片策略。详见:http://dangdangdotcom.github.io/elastic-job/elastic-job-lite/02-guide/job-sharding-strategy/