Kafka KTable 每个主题的开销
我有一个经常更改且大量的对象，并且我需要为每个对象维护某种状态表。我正在考虑为每个对象使用 KTable，但我有点担心这种结构会带来的开销。
从这个意义上说，当每个对象都获得自己的主题和表时，KTable 的预期“开销”是多少，否则对象将无法获得自己的主题？例如，带有 KTable 的主题消耗多少内存？
举个例子（这些不是实际数字，只是相对数字与我正在寻找的类似）：
- 1M 个对象，每个对象都有一个主题，其中一个分区
- 20 个生产者，20 个消费者
- 消息大小 1kb
- 更新率 每条 100k 条消息第二
I have a frequently changing and large amount of objects, and I need to maintain kind of state table for each object. I'm considering to use a KTable for each object, but I'm kind of worried about the overhead that this structure would bring with it.
In that sense, what is the expected "overhead" of a KTable, when each object would get it's own topic and table, where objects would otherwise not get each its own topic? For example, how much memory does a topic with KTable consume?
To make an example (these are not actual numbers, just the relativen numbers is similar to what I'm looking for):
- 1M objects, each object has a topic with one partition
- 20 producers, 20 consumers
- message size 1kb
- update rate 100k messages per second
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论