如何加载余额卡夫卡？

Question

谁能帮助我在卡夫卡（Kafka）的负载平衡？要实施什么逻辑？我认为部署多经纪人多节点KAFKA可以解决问题吗？而且，如果有人可以指导我增加分区的增加可能会影响卡夫卡的负载平衡和吞吐量吗？

Answer 1

如果您是指扩展Kafka群集，那么您需要做的最低限度是：

• 中添加更多的经纪人
• 主题和分区

在此处描述的 ： https://kafka.apache.org/documentation/#basic_ops_cluster_cluster_expansion

将服务器添加到Kafka群集非常容易，只需为它们分配一个唯一的代理ID，然后在新服务器上启动Kafka即可。但是，这些新服务器不会自动分配任何数据分区，因此，除非将分区移至它们，否则在创建新主题之前，他们不会做任何工作。因此，通常，当您将机器添加到群集中时，您都需要将一些现有数据迁移到这些机器上。

一旦将分区转移到新节点后，消费者和生产商将自动重新平衡使用新节点。

要了解消费者和生产商如何通过分区数量进行扩展，我建议阅读Kafka关键概念：

主题是分区的，这意味着主题分布在不同Kafka经纪人上的许多“存储桶”上。该数据的分布式放置对于可伸缩性非常重要，因为它允许客户端应用程序同时读取和写入/向许多经纪人读取数据。当将新事件发布到主题上时，实际上会附加到主题的一个分区之一。具有相同事件密钥（例如，客户或车辆ID）的事件被写入同一分区，Kafka保证，任何给定主题分区的消费者都会以与编写完全相同的顺序读取该分区的事件。