访问 MapReduce 配置/统计信息以进行日志记录和分析
我们正在努力从地图缩减作业中收集统计数据。我们将使用计数器来处理某些事情，但我想知道是否有某种方法可以访问 Web UI 上的统计信息，例如插入的行、读/写的字节等，以便我们可以将它们推送到数据库中以便以后检查。
Web UI 如何收集所有这些数据，我们是否可以以不涉及解析下载的报告 html 视图的方式使用这些收集的数据？比如作业输出的文件？
We're working on gathering statistics from our map reduce jobs. We're going to use counters for some things but I wonder if there's some way to access the statistics on the Web UI, such as rows inserted, bytes read/written, etc, in such a way that we can shove them into a database for later inspection.
How does the Web UI gather all this data, and can we use this gathered data in a way that doesn't involve parsing a downloaded html view of the report? Such as a file outputted by the job?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
这是访问作业的教程柜台。以下是获取给定 jobid 的计数器的代码。
检索到计数器后，将它们放入数据库中并在 UI 中显示它们。
除了用户定义的计数器JobCounter 和 TaskCounter 是一些 Hadoop 定义的计数器。
Here is the tutorial for accessing the job counters. Here is the code to fetch the counters given jobid.
Once the counters have been retrieved put them in a DB and display them in the UI.
Besides the user defined counters JobCounter and TaskCounter are some of the Hadoop defined counters.