Deltalake：替换在日期格式的地方不工作

Question

我的用例是我想在日期分区。在不同的日期，将附加行，但是如果代码在同一日期重新运行，则应

在网上查看后覆盖，似乎可以使用Deltalake的替换Whather Where功能完成此任务，但是我对任何解决方案都很好，我可以涉及Parquet

我有以下代码：

from datetime import date
from pyspark.sql import SparkSession
from pyspark.sql.types import DateType
from pyspark.sql.types import StringType
from pyspark.sql.types import StructField
from pyspark.sql.types import StructType

data = [(date(2022, 6, 19),  "Hello"), (date(2022, 6, 19), "World")]

schema = StructType([StructField("date", DateType()),StructField("message", StringType())])

df = spark.createDataFrame(data, schema=schema)
df.write.partitionBy("date").option("replaceWhere", f"date = '2022-06-19'").save(f"/tmp/test", mode="overwrite", format='delta')
df.write.partitionBy("date").option("replaceWhere", f"date = '2022-06-19'").save(f"/tmp/test_3", mode="overwrite", format='delta')

在第二个写调用时，代码引发以下例外：

pyspark.sql.utils.AnalysisException: Data written out does not match replaceWhere 'date = '2022-06-19''.
CHECK constraint EXPRESSION(('date = 2022-06-19)) (date = '2022-06-19') violated by row with values:
 - date : 17337

Answer 1

这个问题通常是因为您拥有的分区列的值与要替换为您要替换的分区相同的值，

在这里，您的问题可能是您的分区列作为日期格式，也许，如果您尝试使用字符串，则应该正常工作。