胶Pyspark错误：PyWritedYnamicFrame。 org.apache.parquet.column.values.dictionary.plainvaluesdictionary $ plainlongdictionary

Question

我已经进行了2天的调试，并试图弄清楚发生了什么，而没有成功。 AWS支持也无法在这里帮助我，所以让我解释一下。

我有一个名为provisioned.customer的表，该表在胶水上定义。该表位于已提供的数据库上。

还有另外2个表格，策划。

我 。

​href =“ https://i.sstatic.net/gg7rj.png” rel =“ nofollow noreferrer”>

我将所有数据类型都设置为启动流程的字符串。

现在，我使用Pyspark有一个胶水作业3.0，以及以下代码：

# more imports...
import pyspark.sql.types as T
from awsglue.dynamicframe import DynamicFrame
from pyspark.sql import functions as F

def fudf(val):
    return functools.reduce(lambda x, y: x+y, val)

flattenUdf = F.udf(fudf, T.StringType())

customer_df = spark.read.table('curated.customer')
core_customer_consents_df = spark.read.table('curated.core_customer_consents')

core_customer_consents_df = core_customer_consents_df.groupBy("tscid").agg(F.collect_list('purpose').alias('__purposes__'))

merged = customer_df.join(core_customer_consents_df, ['tscid'], how='inner')
merged = merged.select("*", flattenUdf("__purposes__").alias("cirrus_purposes"))
merged = merged.select([c for c in merged.columns if c not in {'__purposes__'}])
logger.info(merged)

glueContext.write_dynamic_frame.from_catalog(
    frame=DynamicFrame.fromDF(merged, glueContext, "a"),
    database = 'provisioned', 
    table_name = 'customer', 
    transformation_ctx = "datasource0", 
)

这是logger.info的输出：

2022-06-15 08:35:26 INFO logger: DataFrame[tscid: string, first_name: string, last_name: string, gender: string, birthdate: string, qualification: string, country: string, estimated_annual_earning: string, cirrus_purposes: string]

但是在执行此问题之后，我将面临以下问题：

An error occurred while calling o149.pyWriteDynamicFrame. org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainLongDictionary

但是我已经检查了模式匹配，并且它们完全相同（请参见logger.info输出），甚至在同一列顺序中。同样在我的本地，这确实会相应地生成数据框架。所以我不知道到底发生了什么。

你面对这个吗？先感谢您。

Answer 1

我发现了这个问题。我使用Pyarrow Parquet文件从CSV生成。列estunated_annual_earning正在生成很长时间。因此，每当我阅读它时，显然由于懒惰的性质而没有问题，但是当读取curtated.customer时，由于数据类型之间的不匹配而调用操作（插入）时，它给出了此错误。

解决方案：生成与胶Metastore中数据类型相同的数据类型的镶木。