Apache Spark Cache在衍生数据框架上是否有效？

Question

我正在使用Apache Spark进行一些工作，但是我不确定数据框“ Frame3”是否会使用“ Frame1”中的缓存数据。在下面概念上描述方案的代码：

frame1 = spark.read.csv("hdfs:....")
frame1.cache()
frame2 = frame1.select("name", "price").filter("price > 20")
frame2.show() #Data is being cached so this action takes longer
frame2.show() #Data has been cached so this action takes a short amount of time
frame3 = frame2.select("name","price").filter("price > 30")
frame3.show() #Does this action use the cached data from frame 1 or not since frame 2 was built from frame 1?

有人有任何想法吗？

谢谢， 极光

Answer 1

在上面的情况下。 DataFrame Frame3将执行frame2转换。但是，在进行此转换时，而不是从csv读取数据时，它将使用CACHE dataframe frame> frame> frame> frame 1

spark spark使用lazy Evolution 的版本具有更好的优化。因此，在您采取任何操作之前，没有执行任何转换。这对于您在单个数据框架上进行多次转换的情况是有好处的。

但是，将单个转换的数据框架引用到其他多个位置的情况下，缓存该数据框是一个好主意。话虽如此。在上面的示例中，我看不到frame1在其他任何地方都被引用，因此即使缓存也没有意义。 （除非这只是一个示例，否则

请注意：根据评论更新答案，我错过了我们的一些重要信息。直到对数据框执行适当的措施，它没有被缓存。