如何消除hadoop mapreduce中的重复文件名？

Question

我想消除 hadoop mapreduce 倒排索引程序输出中的重复文件名。例如，输出类似于 - things : doc1,doc1,doc1,doc2 但我希望它像 事物：doc1，doc2

Answer 1

那么您想要删除映射的重复项，即您想要将中间值列表减少为没有重复项的输出列表。我最好的选择是简单地将 reduce() 方法中的 Iterator 转换为 java Set 并对其进行迭代更改：

while (values.hasNext()) {
    if (!first)
    toReturn.append(", ") ;
    first = false;
    toReturn.append(values.next().toString());
}

不幸的是，

Set<Text> valueSet = new HashSet<Text>();
while (values.hasNext()) {
    valueSet.add(values.next());
}

for(Text value : valueSet) {
    if(!first) {
        toReturn.append(", ");
    }
    first = false;
    toReturn.append(value.toString());
}

我不知道有什么更好（更简洁）的方法将迭代器转换为集合。

这应该比橙色的解决方案具有更小的时间复杂度，但内存消耗更高。

@编辑：短一点：

Set<Text> valueSet = new HashSet<Text>();
while (values.hasNext()) {
    Text next = values.next();
    if(!valueSet.contains(next)) {
        if(!first) {
            toReturn.append(", ");
        }
        first = false;
        toReturn.append(value.toString());
        valueSet.add(next);
    }
}

包含应该是（就像添加一样）恒定时间，所以现在应该是 O(n) 。

Answer 2

要以最少的代码更改来做到这一点，只需添加一个 if 语句来检查您要附加的内容是否已在 toReturn:

if (!first)
    toReturn.append(", ") ;
first = false;
toReturn.append(values.next().toString());

gets 更改为

String v = values.next().toString()
if (toReturn.indexOf(v) == -1) {  // indexOf returns -1 if it is not there
    if (!first) {
        toReturn.append(", ") ;
    }
    toReturn.append(v);
    first = false
}

---

上面的解决方案有点慢是因为它每次都必须遍历整个字符串来查看该字符串是否存在。可能最好的方法是使用 HashSet 来收集项目，然后将 HashSet 中的值组合成最终输出字符串。