使用 Java 类作为映射器，使用 Python 脚本作为减速器
我正在尝试使用流式传输来运行hadoop。我有两个文件。一个是mapper的java文件，另一个是reducer的python脚本。
MerkleMapper.java
MerkleMapper 类扩展了 MapREduceBase 并定义了 map() 函数。对于输入拆分的每个记录，它读取传入的 key(byte_offset) 、 value(line) 对，并输出 byte_offset 和哈希值线。
Reducer 是一个 python 脚本，它组合了所有哈希值并生成顶部哈希值。
是否可以将两者（java 和 python）结合起来。我如何使用 Streaming 将我的 java 文件指定为映射器。
I am trying to run hadoop with streaming. I have two files . One is the java file for mapper and other is the python script for the reducer.
MerkleMapper.java
Class MerkleMapper extends MapREduceBase and defines map() function. For each record of the input split it reads the incoming key(byte_offset) , value(line) pair and outputs the byte_offset and hash of the line.
The Reducer is a python script which combines all the hashes and produces a top hash.
Is it possible to combine the two (java and python). How can i specify my java file as mapper using Streaming.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
你可以把它分成两份工作。
第一个作业只有一个映射器（您的 Java 映射器），您获取其输出并将其传递到 python 流作业中，其中您的 Mapper 是身份映射器，您的减速器是 python Reducer。目前，据我所知，你不能将流媒体和java结合起来。
You could split it into 2 jobs.
First job has only a mapper (your Java mapper) and you take the output of that and pass it into a python streaming job, where your Mapper is the identity mapper and your reducer is the python Reducer. Currently, you cannot combine streaming and java from what i know.