如何使用Spark中的IF语句删除RDD的列（使用Scala）

Question

假设我有一个文本文件，每个条目都有几百个数据点。我想摆脱具有问号的任何列 - 使用掉落功能，然后挑选出来似乎很乏味。有更快的方法吗？

dataframe.map（x =＆gt; ifcontainsquestionmarkdropcolumn（x））之类的东西？

Answer 1

可以使用“sum”函数计算每列中问号的数量，并且可以删除数量非零的列：

val df = Seq(("nomark", "question?mark"))
  .toDF("expected", "dropped")

val questionCountColumns = df
  .columns
  .map(c => sum(when(col(c).contains("?"), 1).otherwise(0)).alias(c))

val questionCountRow = df.select(questionCountColumns: _*).first()

val columnsToDrop = df
  .columns
  .filter(c => questionCountRow.getAs[Long](c) > 0)

val result = df.drop(columnsToDrop: _*)

结果为：

+--------+
|expected|
+--------+
|nomark  |
+--------+