如何把Spark RDD中的内容按行打印出来?

发布于 2022-09-02 09:32:50 字数 810 浏览 15 评论 0

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码?,向下面这样:
means 1
under 2
this 3
...

Hadoop 流行的一个通用的数据流模式是 MapReduce。Spark 能很容易地实现 MapReduce:

scala> val wordCounts = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
wordCounts: spark.RDD[(String, Int)] = spark.ShuffledAggregatedRDD@71f027b8

这里,我们结合 flatMap, map 和 reduceByKey 来计算文件里每个单词出现的数量,它的结果是包含一组(String, Int) 键值对
的 RDD。我们可以使用 [collect] 操作在我们的 shell 中收集单词的数量:

scala> wordCounts.collect()
res6: Array[(String, Int)] = Array((means,1), (under,2), (this,3), (Because,1), (Python,2), (agree,1), (cluster.,1), ...)

请问我想把最后wordcounts里的内容按行打印出来要怎样编写代码?,向下面这样:
means 1
under 2
this 3
...

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

霞映澄塘 2022-09-09 09:32:50

你这个后面接一个saveAsTextFile("E:/text.txt")

打印控制台是 .foreach(println(_))

初雪 2022-09-09 09:32:50

可以写个函数,我用python,你可以类比。

output = wordCounts.collect()
def output(output):
    for key, value in output:
        print key, value
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文