仅显示前20行

发布于 2025-01-26 14:39:04 字数 404 浏览 2 评论 0原文

我有一个流数据集。它从Kafka流读取并写入控制台。

 val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("checkpointLocation", "checkpoint")

 outputStream.start()

 spark.streams.awaitAnyTermination()

但是，当有多个记录时，我会在控制台上收到一条消息： 仅显示前20个行

，仅显示20个记录。有没有办法检索所有记录？

火花版本：3.1.2

原文

I have a streaming dataset. It reads from Kafka stream and writes into console.

 val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("checkpointLocation", "checkpoint")

 outputStream.start()

 spark.streams.awaitAnyTermination()

However when there are more than one record, I get a message on console :
only showing top 20 rows

And it shows only 20 records. Is there a way to retrieve all records ??

Spark version : 3.1.2

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

[旋木] 2025-02-02 14:39:04

有一个选项numrows，例如：10000。

val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("numRows",10000)
                    .option("checkpointLocation", "checkpoint")

There is an option numRows, for example: 10000.

val outputStream = inputStream.writeStream.format("console")
                    .option("truncate", value = false)
                    .option("numRows",10000)
                    .option("checkpointLocation", "checkpoint")

回复收藏 0 原文

~没有更多了~