Hadoop作业调度查询
我是 Hadoop 的初学者。
根据我的理解,Hadoop 框架以 FIFO 顺序(默认调度)运行作业。
有没有办法告诉框架在特定时间运行作业?
即有什么方法可以配置为每天下午 3 点运行该作业吗?
对此的任何意见都非常感谢。
谢谢,R
I am a beginner to Hadoop.
As per my understanding, Hadoop framework runs the Jobs in FIFO order (default scheduling).
Is there any way to tell the framework to run the job at a particular time?
i.e Is there any way to configure to run the job daily at 3PM like that?
Any inputs on this greatly appreciated.
Thanks, R
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(4)
从外部 Java 调度框架(如 Quartz)调用作业怎么样?然后您就可以根据需要运行该作业。
What about calling the job from external java schedule framework, like Quartz? Then you can run the job as you want.
您可以考虑使用 Oozie (http://yahoo.github.com/oozie/)。它允许(除了其他事情之外):
它独立于任何其他 Hadoop 调度程序,并且应该与它们中的任何一个一起工作,因此 Hadoop 配置中的任何内容可能都不会改变。
you might consider using Oozie (http://yahoo.github.com/oozie/). It allows (beside other things):
It is independent of any other Hadoop schedulers and should work with any of them, so probably nothing in you Hadoop configuration will change.
让一个脚本来执行 Hadoop 作业,然后使用 at 命令在某个指定的时间执行怎么样。如果您希望作业定期运行,您可以设置一个 cron 作业来执行您的脚本。
How about having a script to execute your Hadoop job and then using at command to execute at some specified time.if you want the job to run regularly, you could setup a cron job to execute your script.
如果 Cron 不削减它和/或自定义工作流程解决方案,我会使用商业调度应用程序。我们使用一种称为 jams 的解决方案,但请记住它是面向 .net 的。
I'd use a commercial scheduling app if Cron does not cut it and/or a custom workflow solution. We use a solution called jams but keep in mind it's .net-oriented.