Trigger.Once Spark 结构化流媒体与 KAFKA 可能吗？
使用 Trigger.Once 的 Spark 结构化流是否允许直接连接到 KAFKA 并使用 MERGE 语句？或者该数据必须来自增量表吗？
这个 https://docs.databricks.com/_static /notebooks/merge-in-scd-type-2.html 假设表格作为输入。我找不到将 KAFKA 与 Trigger.Once 一起使用的示例。好吧，周末快到了，我会启动这个那个，但这是一个有趣的点，我想提前知道。
Does Spark Structured Streaming using Trigger.Once allow for a direct connection to KAFKA and use of MERGE statement? Or must the data for this be from a delta table?
This https://docs.databricks.com/_static/notebooks/merge-in-scd-type-2.html assumes tables as input. I cannot find an example with KAFKA being used with Trigger.Once. OK, the weekend is coming and I will fire up this and that, but it is an interesting point that I would like to know in advance.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
是的，可以将
Trigger.Once（或更好的更新的Trigger.AvailableNow）与 Kafka 一起使用，然后使用foreachBatch执行 MERGE。您需要考虑的唯一一件事是数据不应在执行之间过期。
Yes, it's possible to use
Trigger.Once(or better newerTrigger.AvailableNow) with Kafka, and then useforeachBatchto execute MERGE.The only thing that you need to take into account is that data shouldn't expire between executions.