如何使用scala将过滤器从apache.spark.sql应用于RelationalGroupedDataSet类？

Question

我试图找到一个过滤器函数（获取列表类型对象，并且功能st函数应为输入列表元素的类型，并应返回一个bool值，并且这两个函数的过滤器的输出包含原始列表该函数在元素上返回true的元素）。

当我尝试应用过滤器时，我会出现错误。是否有任何方法可以将过滤器应用于RelationalGroupedDataSet？ （我在附带的文档中找不到任何内容： https://spark.apache.org/docs/2.4.4/api/java/java/org/org/apache/spark/sql/sql/relationalgroupeddataset.html

）对于我应该如何访问关系群的特定列值？

谢谢！

原始呼叫

错误消息

Answer 1

这是一个例子：

df.groupBy("department")
  .agg(
    sum("salary").as("sum_salary"),
    avg("salary").as("avg_salary"),
    sum("bonus").as("sum_bonus"),
    max("bonus").as("max_bonus"))
  .where(col("sum_bonus") >= 50000)
  .show(false)

它应该为您提供指导。

Answer 2

尝试将：_*添加到Groupby中：

def showGroupByDesc(df: DataFrame, cols: Column*): Unit = {
  df.groupBy(cols:_*).count().sort($"count".desc).show()
}

这是一种特殊的语法，用于将参数传递给Scala中的Varargs函数。

没有：_*编译器正在寻找接受seq [列]的函数，并且找不到它。

您可以在此处使用varargs阅读更多有关varargs的信息。