Spark.readStream 与 Kafkautils.createDirectStream
我想知道是否有人知道这两种语法之间的区别是什么？我知道两者都用于从 Kafka 读取数据，但它们有什么区别？
- Spark.readStream.format("kafka")
- KafkaUtils.createDirectStream(__)
I was wondering if anyone knew what the difference between the two syntax is? I know both are used to read data from Kafka but what differentiates them?
- spark.readStream.format("kafka")
- KafkaUtils.createDirectStream(__)
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
其一，它们是不同依赖项的一部分。
第一个用于结构化流，返回数据帧，被认为是 Spark 的首选 API
第二个用于 RDD Spark 流操作，其中数据可能不具有任何一致性（结构），或者如果您确实想要更直接的访问到 Spark 的较低级别
ConsumerRecord对象They are part of different dependencies, for one.
The first is for Structured Streaming, and returns Dataframes, and is considered the preferred API for Spark
The second is for RDD Spark Streaming operations where the data might not have any consistency to it (a structure), or if you did want more direct access to the lower level
ConsumerRecordobject of Spark