分离 Hadoop Map 和 Reduce 任务

Question

在 3 节点 hadoop 集群中。我希望主节点为 1 个节点。 Map任务发生在1个节点，Reduce任务发生在1个节点。 Map和Reduce任务应该分开。是否可以？据我所知，两者一起运行。如果你能透露一些信息那就太好了。谢谢 ！

-塞图

Answer 1

这并不是最佳选择，因为地图输出必须始终复制到另一台服务器。
但是您可以简单地修改服务器上的mapred-site.xml。

<property>
    <name>mapred.tasktracker.map.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>

<property>
    <name>mapred.tasktracker.reduce.tasks.maximum</name>
    <value>4</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

在不应该运行reducer的服务器上，您可以将reduce.task.maximum设置为零。对于其他服务器反之亦然。