当前位置：文江博客话题详情

映射阶段的进度（LATE 调度程序）- Hadoop

发布于 2024-10-30 14:17:53 字数 38 浏览 3 评论 0原文

我想了解地图任务的进度。如果有人能帮助我那就太好了！谢谢！！

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

魔 2024-11-06 14:17:53

我们可以通过两种方式监控作业中 Map 和 Reduce 的进度。

第一个是网络界面。

http://pdhadoop1:50030 其中 pdhadoop1 是您的 namenode 机器。

另一种方式是从作业驱动程序内部，可以输出到控制台（或其他地方）
提交作业后，我们进入 while 循环并检查 job.isComplete()。在循环内部

System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));

，我们执行Thread.sleep(60000)，循环继续进行，直到作业完成。

有了这两个工具，我就可以观察地图的进度并减少工作的组成部分。

Web 界面允许查看日志和其他有用信息。计数器、记录、字节……一个非常好的功能。

我希望这有帮助。 :)

编辑：此 wiki 页面 http://wiki.apache.org/hadoop/WebApp_URLs 有列出的这些 URL

可以在 http://localhost:50030
找到作业跟踪器
任务跟踪器可以在 http://localhost:50060
找到
NameNode / 文件系统 / 日志浏览器可以在 http://localhost:50070
找到
secondaryNameNode 可以在 http://localhost:50090 找到，

我认为 localhost 依赖于您想查看的网址。我没有全部玩过，一般只用50030和50070；这两个我都指向我的名称节点。

There are two ways we monitor the progress of the Map and Reduce on a job.

The first is the web interface.

http://pdhadoop1:50030 where pdhadoop1 is your namenode machine.

The otherway is from inside the job driver, it is possible to output to the console (or elsewhere)
After the job is submitted, we enter a while loop and check against job.isComplete(). Inside the loop we do

System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));

Then we Thread.sleep(60000) and the loop keeps going until the job is complete.

With both of these I am able to watch the progress of the map and reduce components of a job.

The web interface allows looking at logs and additional useful information. Counters, records, bytes... A very nice feature.

I hope that helps. :)

EDIT: This wiki page http://wiki.apache.org/hadoop/WebApp_URLs has these URLs listed

The Job Tracker can be found at http://localhost:50030
The Task Tracker can be found at http://localhost:50060
The NameNode / Filesystem / log browser can be found at http://localhost:50070
The SecondaryNameNode can be found at http://localhost:50090

I think localhost is dependent on the URL you want to look at. I haven't played with all of them, I generally just use 50030 and 50070; Both of which I point at my namenode.

回复收藏 0 原文

~没有更多了~