在火花结构化流应用程序中计算Kafka滞后
我正在尝试计算我的火花结构流应用程序上的kafka滞后。
我可以从随附的实际数据中获得当前处理的偏移量。
有没有办法通过SPARK界面以编程方式在Kafka主题中获得所有分区的最新偏移？
我可以使用Apache Kafka Admin类或Kafka接口来获取我的Spark应用中每个批次的最新偏移信息吗？
I am trying to calculate Kafka lag on my spark structured streaming application.
I can get the current processed offset from my Kafka metadata which comes along with actual data.
Is there a way through which we can get the latest offsets of all partitions in a Kafka topic programmatically from spark interface ?
Can I use Apache Kafka admin classes or Kafka interfaces to get the latest offset information for each batch in my spark app ?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论