Spark的DataFrame做Map操作时怎么返回超过22个字段
val originInfoDF = spark.sql("select col1, col2, col3, col4 from table_T")
val aggData = originInfoDF
.groupBy("col1")
.agg(collect_set(array("col2", "col3")), first("col4"))
.toDF("c1", "c2", "c4")
.map(line => {
val x = line.get... // 处理代码
//如果返回22个以内, 直接返回 (x, y, z)
//如果超过22个, 该怎么写来代替元组呢?
})
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
已解决
外站.