提交到spark-submit的任务是运行一次的嘛?
对于一个完整的从Kafka或者hdfs读取数据
然后用模型计算
并把结果导出到mysql或者hbase的spark程序
把它提交了以后
它是一直在运行嘛?
如果有新数据从源来了,它是从头再运行一次,还是接着上次的位置继续运行下去?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
你应该写一个定时任务脚本,我一般用
linux
上的crontab
来执行定时任务