Pyspark DataFrame将错误保存到Parquet？

Question

在执行一系列转换后，当将数据框保存到镶木quet文件时，我会遇到一个令人困惑的问题。

运行一系列转换步骤后，我通过检查大小和重复项来检查最终数据框架是否正确。

result_df.count()

213051

result_df.select(count_distinct("RECORD_ID")).show()
+-------------------------+
|count(DISTINCT RECORD_ID)|
+-------------------------+
|                   213051|
+-------------------------+

我会使用API​​编写数据框为parquet，

result_df.write.parquet('path')

然后，当我尝试阅读处理后的数据时，

processed_df = spark.read.parquet('path') 
processed_df.count()

213051

processed_df.select(count_distinct("RECORD_ID")).show()
+-------------------------+
|count(DISTINCT RECORD_ID)|
+-------------------------+
|                     6659|
+-------------------------+

以后有人对为什么会发生这种情况以及为什么保存时会引入数据帧中的重复项？我不确定在保存我缺少的数据框架时是否有选项可以纠正此行为。我已经多次检查了最终DF的重复项和不正确的数据，但是直到保存并重新加载它，它总是看起来不错。

群集是Azure Databricks上的驱动程序 + 3名工人（Spark 3.2.1），如果有帮助。

谢谢！

编辑：

我能够将问题缩小到转换步骤中的主要数据帧的数据框架。有问题的DF由File_name列，然后由RAW_TEXT列组成，该列由每个行的大字符串组成。

作为参考，我已经运行以下UDF来帮助非ASCII字符：

def ascii_ignore(x):
    return x.encode('ascii', 'ignore').decode('ascii')

ascii_udf = udf(ascii_ignore)

这是Parquet文件无法解释特殊字符的问题，从而用以前的好行覆盖行？