如何基于PYPSPARK查询？

Question

我有一个简单的Pyspark脚本，我想对每个部分进行基准测试。

# section 1: prepare data
df = spark.read.option(...).csv(...)
df.registerTempTable("MyData")

# section 2: Dataframe API
avg_earnings = df.agg({"earnings": "avg"}).show()

# section 3: SQL
avg_earnings = spark.sql("""SELECT AVG(earnings)
                            FROM MyData""").show()

生成可靠的测量值需要多次运行每个部分。我使用Python 时间模块的解决方案看起来像这样。

import time
for _ in range(iterations):
    t1 = time.time()
    df = spark.read.option(...).csv(...)
    df.registerTempTable("MyData")

    t2 = time.time()
    avg_earnings = df.agg({"earnings": "avg"}).show()

    t3 = time.time()
    avg_earnings = spark.sql("""SELECT AVG(earnings)
                            FROM MyData""").show()
    t4 = time.time()
   
    write_to_csv(t1, t2, t3, t4)

我的问题是每个部分如何一个基准？您还会使用时间模块吗？如何禁用Pyspark的缓存？

---

编辑： 绘制基准的前5个迭代表明，Pyspark正在做某种形式的缓存。

我如何禁用此行为？

Answer 1

首先，您无法使用show进行基准测试，它仅计算并返回前20行。

第二，通常，Pyspark API和Spark SQL在场景后面共享相同的催化剂优化器，因此总的来说您正在做的事情（使用.agg vs avg（））非常相似，没有太大的区别。

第三，通常，仅当您的数据确实很大，或者您的操作比预期的要长得多。除此之外，如果运行时差仅几分钟，那并不重要。

无论如何，要回答您的问题：

1. 是的，使用time.time（）进行测量没有错。
2. 您应该使用count（）而不是show（）。 计数将继续前进并计算整个数据集。
3. 如果您不调用它，则不必担心缓存。 Spark不会缓存，除非您要求它。实际上，在基准测试时您根本不应缓存。
4. 您还应该使用静态分配而不是动态分配。或者，如果您使用的是Databricks或EMR，请使用固定数量的工人，并且不要自动尺度。