当前位置：文江博客话题详情

Spark StreamingContext

发布于 2025-01-16 00:54:06 字数 190 浏览 1 评论 0原文

我在运行 Spark Streaming 时遇到问题。有人可以帮我吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

自在安然 2025-01-23 00:54:06

由于您正在使用 /Filestore，我相信您正在使用 databricks。
下面的代码将帮助您启动 Spark 流上下文。

如果您使用的是 databricks，请清除所有状态并运行以下代码。

from pyspark import SparkContext
from pyspark.streaming import StreamingContext
ssc = StreamingContext(spark.sparkContext, 1)
dstream = ssc.textFileStream("<Folder/File location")
dstream.saveAsTextFiles("<Destination folder/file location")
ssc.start()
ssc.awaitTermination()

我建议您开始使用 Spark 结构化流，而不是使用标准流选项。

https://spark.apache.org/docs/latest/结构化流编程指南.html

Since you are using /Filestore, I believe you are using databricks.
Below code would help you to start a spark streaming context.

If you are using databricks, clear all the states and run the below code.

from pyspark import SparkContext
from pyspark.streaming import StreamingContext
ssc = StreamingContext(spark.sparkContext, 1)
dstream = ssc.textFileStream("<Folder/File location")
dstream.saveAsTextFiles("<Destination folder/file location")
ssc.start()
ssc.awaitTermination()

I would suggest you to start using spark structured streaming, instead of using standard streaming option.

https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html

回复收藏 0 原文

~没有更多了~