hadoop2.2.0如何确定map任务在哪个节点上运行？
我通过将输入文件分为四份使得hadoop程序运行时有四个map,但是我无法确定到底哪个map在哪个节点上运行。Web UI显示如下：
我的集群nodeManager有两个，这里好像表明四个map都运行在了centos2节点上。试了多次都是同一个结果。
为什么map任务不能分配到多个节点上呢？还有，我的配置文件基本上是默认的，也就是说mapreduce.job.maps为默认值2, mapreduce.tasktracker.map.tasks.maximum也为默认值2, 个人觉得一个设置了每个job的task数为2, 一个设置了每个tasktracker(每个节点)的任务数不超过2,不可能存在一个节点上四个map的情况啊？这两个配置参数究竟是如何影响程序的？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
1.首先，你不能确定map运行在哪个机器上，hadoop有内部有算法决定。其实你可以通过
看看tasktracker是不是都正常
2.为什么有4个map任务呢？一个map分为不同阶段，比如SETUP、CLEANUP，所以其中两个attempt对应这两个，其余两个才是真正的map逻辑。