Hadoop：用于可视化键值数据和文件以进行开发的工具

Question

是否有任何简单、易于启动的 java 工具用于可视化 MapReduce 作业目录中的键/值数据？

具体来说，我想浏览 20 个作业的 MapReduce 工作流程，单击各个文件并查看数据，甚至可能会看到文件大小的直方图。

• 这里有一些警告，例如 -

  • 某些文件具有序列化数据（不仅仅是文本）
  • 显然，这个系统在“云规模”上使用可能很愚蠢，而它只是一个开发工具。

尽管如此，这样的工具对于开发和本地调试大型连接的 m/r 管道很有用。

这是出于开发目的（我不想在真实集群中可视化分布式键/值 hadoop 数据） 。

Answer 1

查看 KarmaSphere Studio

逐步监控作业执行
- 包含结果的工作流程：显示 MapReduce 作业每一步的结果输出。
- 桌面上的 Hadoop 日志：从桌面轻松访问 Hadoop 日志。
- 作业失败选项：允许指定作业失败选项，例如 EMR 作业失败时自动调用指定脚本。