在火花结构化流中访问当前水印

发布于 2025-01-22 07:36:49 字数 163 浏览 4 评论 0原文

有什么方法可以访问火花结构化流中的当前水印值？

我想以活动时间顺序处理事件，以查找序列的模式。为此，我一直在考虑使用FlatmapGroupswithState和缓冲事件，直到水印通过（并避免进行缓冲后事件）并一对一地对其进行处理。但是我不知道如何访问当前水印来完成。火花结构流中是否可能发生事件？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

魔法少女 2025-01-29 07:36:49

您可以从streamingquery对象访问streamQueryProgress：

query.lastProgress()/recentProgress()

它将包含eventtime.watermark字段

类似：

{
  "id" : "eb7202da-9e60-4983-89fc-e1251aebf89d",
  "runId" : "969555bd-6189-4b70-a101-3b5917cea965",
  "name" : "my-query",
  "timestamp" : "2023-01-05T16:46:43.372Z",
  "batchId" : 6,
  "numInputRows" : 0,
  "inputRowsPerSecond" : 0.0,
  "processedRowsPerSecond" : 0.0,
  "durationMs" : {
    "latestOffset" : 7,
    "triggerExecution" : 7
  },
  "eventTime" : {
    "watermark" : "2023-01-01T09:44:11.000Z"
  },
  "stateOperators" : [ {
    "operatorName" : "stateStoreSave",
...etc
}

You can access the StreamingQueryProgress from your StreamingQuery object:

query.lastProgress()/recentProgress()

It will contain an eventTime.watermark field

something like:

{
  "id" : "eb7202da-9e60-4983-89fc-e1251aebf89d",
  "runId" : "969555bd-6189-4b70-a101-3b5917cea965",
  "name" : "my-query",
  "timestamp" : "2023-01-05T16:46:43.372Z",
  "batchId" : 6,
  "numInputRows" : 0,
  "inputRowsPerSecond" : 0.0,
  "processedRowsPerSecond" : 0.0,
  "durationMs" : {
    "latestOffset" : 7,
    "triggerExecution" : 7
  },
  "eventTime" : {
    "watermark" : "2023-01-01T09:44:11.000Z"
  },
  "stateOperators" : [ {
    "operatorName" : "stateStoreSave",
...etc
}

回复收藏 0 原文

~没有更多了~