Hadoop作业调度查询

发布于 2024-11-30 16:52:34 字数 165 浏览 0 评论 0原文

我是 Hadoop 的初学者。

根据我的理解,Hadoop 框架以 FIFO 顺序(默认调度)运行作业。

有没有办法告诉框架在特定时间运行作业?

即有什么方法可以配置为每天下午 3 点运行该作业吗?

对此的任何意见都非常感谢。

谢谢,R

I am a beginner to Hadoop.

As per my understanding, Hadoop framework runs the Jobs in FIFO order (default scheduling).

Is there any way to tell the framework to run the job at a particular time?

i.e Is there any way to configure to run the job daily at 3PM like that?

Any inputs on this greatly appreciated.

Thanks, R

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(4

酸甜透明夹心 2024-12-07 16:52:34

从外部 Java 调度框架(如 Quartz)调用作业怎么样?然后您就可以根据需要运行该作业。

What about calling the job from external java schedule framework, like Quartz? Then you can run the job as you want.

仅冇旳回忆 2024-12-07 16:52:34

您可以考虑使用 Oozie (http://yahoo.github.com/oozie/)。它允许(除了其他事情之外):

频率执行:Oozie 工作流程规范支持这两种数据
和时间触发器。用户可以指定执行频率并且可以等待
数据到达时触发工作流程中的操作。

它独立于任何其他 Hadoop 调度程序,并且应该与它们中的任何一个一起工作,因此 Hadoop 配置中的任何内容可能都不会改变。

you might consider using Oozie (http://yahoo.github.com/oozie/). It allows (beside other things):

Frequency execution: Oozie workflow specification supports both data
and time triggers. Users can specify execution frequency and can wait
for data arrival to trigger an action in the workflow.

It is independent of any other Hadoop schedulers and should work with any of them, so probably nothing in you Hadoop configuration will change.

路弥 2024-12-07 16:52:34

让一个脚本来执行 Hadoop 作业,然后使用 at 命令在某个指定的时间执行怎么样。如果您希望作业定期运行,您可以设置一个 cron 作业来执行您的脚本。

How about having a script to execute your Hadoop job and then using at command to execute at some specified time.if you want the job to run regularly, you could setup a cron job to execute your script.

你是年少的欢喜 2024-12-07 16:52:34

如果 Cron 不削减它和/或自定义工作流程解决方案,我会使用商业调度应用程序。我们使用一种称为 jams 的解决方案,但请记住它是面向 .net 的。

I'd use a commercial scheduling app if Cron does not cut it and/or a custom workflow solution. We use a solution called jams but keep in mind it's .net-oriented.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文