如何使用 Scala 将表更快地加载到 Spark 数据帧中？

Question

我编写了一个代码，该代码应该使用 Spark 将许多表（通过 LTables 方法列出）加载到 Scala 中的不同数据帧中。 这是我的代码：

LTables.iterator.foreach{
  Table=> TableProcessor.execute(sparkSession,filterTenant,Table)

    if (Table.TableDf.count()>0) {
  GenerateCsv.execute(sparkSession, Table.TableDf,Table.OutputFilename, filterTenant)
    }
}

在 foreach 循环中，我处理 TableProcessor.execute 进行 SQL 查询并将结果放入数据帧中并处理过滤，然后 GenerateCsv 只是将过滤后的数据加载到 csv 中。

问题是，我有很多表需要处理大量数据，所以整个过程非常慢（我尝试使用 160 个表的列表） 我知道 Spark 非常适合处理大数据帧，但不太适合处理大量数据帧，但我必须使用 SQL 查询单独获取表。

如果您有解决方案或建议来帮助我使此代码运行得更快，那就太好了。

谢谢你的帮助