spark程序实际环境是如何运用的
现在已经掌握了spark的编程
但是程序写出来提交运行只是单次的
spark streaming还能一直监听运行，spark sql执行一次就结束了
真实项目中是如何运行spark程序的？
写个脚本，定时向集群submit进行计算？还是其他什么自动化方法？
不可能编写的程序只执行一次就不用了吧
同一套程序如何进行反复的计算？
比如要分析日志，每天都有新的日志产生存放在HDFS上，怎样让spark程序每天重复提交并分析日志信息且不重复分析？
比较困惑！
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
把日志数据结构化存储（HBase，Hive或者HDFS的文件格式），然后根据时间范围进行条件查询。
Spark批处理作业可以用Quartz框架或者Oozie框架进行调度。