我该如何解决：org.apache.spark.sql.AnalysisException：流数据帧/数据集不支持多个流聚合
py4j.protocol.Py4JJavaError：调用 o170.start 时发生错误。 ：org.apache.spark.sql.AnalysisException：流数据帧/数据集不支持多个流聚合；；
我收到以下代码的上述错误
timebasedkpi=df \
.withWatermark("timestamp","10 minutes") \
.groupBy(window("timestamp","1 minute","1 minute"),"country").agg(sum("total_cost").alias("volume_of_sales"),count("invoice_no").alias("OPM"))
dataQuery=timebasedkpi \
.writeStream \
.outputMode("Complete") \
.format("console") \
.trigger(processingTime="5 seconds") \
.start()
py4j.protocol.Py4JJavaError: An error occurred while calling o170.start.
: org.apache.spark.sql.AnalysisException: Multiple streaming aggregations are not supported with streaming DataFrames/Datasets;;
I am getting the above error for the following code
timebasedkpi=df \
.withWatermark("timestamp","10 minutes") \
.groupBy(window("timestamp","1 minute","1 minute"),"country").agg(sum("total_cost").alias("volume_of_sales"),count("invoice_no").alias("OPM"))
dataQuery=timebasedkpi \
.writeStream \
.outputMode("Complete") \
.format("console") \
.trigger(processingTime="5 seconds") \
.start()
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论