spark-streaming

spark-streaming

文章 22 浏览 12

spark、HDFS在工业上一般怎么使用?

系统之前使用关系型数据库,现在业务数据量大,有一张实时监测的数据表,每天大几百万条数据,处理能力有限,所以打算用mongodb或spark,但因为不熟…

嗳卜坏 2022-09-05 10:40:46 27 0

locally 的 spark streaming 任务如何停止?

spark 部署方式分 locally,standalone,mesos,yarn standalone,mesos 可以用 spark-submit --master $MASTER_REST_URL --kill $DRIVER_ID 来停止 …

探春 2022-09-05 01:55:48 27 0

spark streaming 集成 kafka,使用window时出现错误

当使用 spark streaming 2.0.0 集成 kafka 0.10.0时出现 KafkaConsumer 多线程争用的问题。部分代码如下: val ssc = new StreamingContext(sc, Seco…

此岸叶落 2022-09-04 14:59:13 16 0

本地 Spark 连不上 web-ui ,请大神指教

想在 web ui 里看看自己spark任务的状况,但是在本地执行了任务,在web ui里却什么都没有显示。请问是需要什么特殊指令吗? conf = SparkConf().setM…

本宫微胖 2022-09-04 05:02:38 23 0

pyspark如何一次提交多个文件?

spark-submit指令,比如我要提交的python文件是几个互相import的文件,并且有的是在文件夹里的…

叫嚣ゝ 2022-09-02 15:37:21 26 0

SparkStream接受Kafka数据,数据处理时发生任务堵塞,如何处理?

SparkStream运行30分钟后就出现了任务堵塞,现在的任务一直在卡(没有报错),后面的任务一直在排队。Spark on yarn 内存都足够。 读取Kafka数据成List…

逐鹿 2022-09-02 10:32:37 17 0

Spark Streaming集成Kafka代码构建失败

env ubuntu14.04 64bit java 1.8 scala 2.11.7 spark-hadoop2.6 1.5.1 interlliJ IDEA sbt 0.13 问题 自己照着Spark streaming example修改了一点代…

层林尽染 2022-09-02 01:41:11 18 0
更多

推荐作者

醉城メ夜风

文章 0 评论 0

远昼

文章 0 评论 0

平生欢

文章 0 评论 0

微凉

文章 0 评论 0

Honwey

文章 0 评论 0

qq_ikhFfg

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文