将减速器输出目录路径保存到 Hadoop 中的变量
如何将 Hadoop 减速器的输出路径保存到变量中？
所有其他 MR 作业将使用此变量。
这些工作将是连续的。
所有连续的 MR 作业都会将其相应的输出写入该输出目录。
我需要相应地更新它们的路径变量。
How do I save the output path of Hadoop reducers to a variable?
This variable will be used by all other MR jobs.
These jobs will be sequential.
All the sequential MR jobs will write their corresponding output to that output directory.
I need their path variable to be updated accordingly.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
看看“Oozie”。它是一个 Hadoop 工作流引擎，可以实现您所描述的功能。多个作业可以将其“输入”作为上一个作业的“输出”。
还有其他解决方案，例如“Cascading”API。
http://www.concurrentinc.com/products/
http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start
Take a look at "Oozie". It's a Hadoop workflow engine which allows just what you described. Multiple jobs can take their "Input" as an "Output" from the last job.
There are other solutions for this such as "Cascading" API.
http://www.concurrentinc.com/products/
http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start