在reduce()方法中key的输入顺序是怎样的

发布于 2024-11-12 05:47:00 字数 455 浏览 3 评论 0原文

我有一个简单的用例。在我的输入文件中，我只需要计算单词总数的百分比分布。例如，word1 出现 10 次，word2 出现 5 次等，单词总数为 100，那么我只需要显示 % word1 = 10 % , % word2 = 5% 等。所以每当我遇到一个单词时，我就输入context.write(word,1) 在map() 和reduce 中我总结了各个计数。但要计算百分比，我们需要总字数。我也在计算这个。

因此，在reduce中获取word1或word2的键之前，我要获取总字数键，以计算每个单词的百分比。但在减少中，我在其他一些键之后得到了这个总单词数键。因此我无法计算百分比。

我还尝试使用 context.getConfiguration().setFloat("total count",count); 在地图配置中设置此总计数但在减少中我无法从配置中获取这个值。它只是返回 null。

有什么建议请补充。

谢谢..

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

温暖的光 2024-11-19 05:47:00

您需要首先消化您的文档，如下所示：

class WordCounter {
    Map<String, Integer> totals = new HashMap<String, Integer>();
    int wordCount;

    void digest(String document) {
        for (String word : document.split("\\w+")) {
            wordCount++;
            Integer count = totals.get(word);
            if (count == null)
                totals.put(word, 1);
            else
                totals.put(word, ++count);
        }
    }
}

然后您可以对文档进行第二遍处理，对您收集的信息执行您喜欢的操作，也许对每个单词使用类似以下方法：

String decorateWithPercent(String word) {
    return word + " (" + (totals.get(word) / wordCount) + "%)";
}

或者打印频率，例如：

void printFrequencies() {
    for (Map.Entry<String, Integer> wordCount : totals.entrySet()) {
        System.out.println(wordCount.getKey() + " " + wordCount.getValue());
    }
}

You need to first digest your document, like this:

class WordCounter {
    Map<String, Integer> totals = new HashMap<String, Integer>();
    int wordCount;

    void digest(String document) {
        for (String word : document.split("\\w+")) {
            wordCount++;
            Integer count = totals.get(word);
            if (count == null)
                totals.put(word, 1);
            else
                totals.put(word, ++count);
        }
    }
}

Then you can do a second pass over your document doing what you like with the info you've collected, perhaps using something like this method on every word:

String decorateWithPercent(String word) {
    return word + " (" + (totals.get(word) / wordCount) + "%)";
}

Or to print the frequencies, something like:

void printFrequencies() {
    for (Map.Entry<String, Integer> wordCount : totals.entrySet()) {
        System.out.println(wordCount.getKey() + " " + wordCount.getValue());
    }
}

回复收藏 0 原文

~没有更多了~