spark如何计算前后两条数据（kafka数据源）的差值？
数据源是kafka，有一个字段是时间戳，我们想要计算前后两条数据的时间戳的差值，然后新增一个字段存储这个值再发出去，要怎么做呢？
我查了一下好像要reducebykeyandwindow？用这个的话，把窗口大小设为两个batchtime就行了么？会不会出现两个窗口太小然后出现没有对应的上一条数据的情况？
或者我设置成10个batch time，是不是得到的结果就是10次的差值？
还是有什么其他办法？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
可以用spark DataFrame(或者spark sql) 开窗函数.