如何获取hadoop失败的attempt的所用数据

发布于 2022-09-06 02:29:50 字数 450 浏览 16 评论 0

用hadoop streaming跑python脚本会在一些mapper attempt上面报错:

17/10/27 17:48:04 INFO mapreduce.Job: Task Id : attempt_1509090367939_0005_m_000052_0, Status : FAILED
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 139

通过yarn也只能看到说是这个问题,没有更多的细节。找了半天也没有找到哪里能够看到详细的日志。所以,我的问题是:

  1. 如何能看到详细的报错原因
    2. 如何能够获取到具体的mapper所被split到的数据(就可以重现错误)

谢谢

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文