pyspark from_json失败了错误：不能以JSON格式解析架构：未识别的令牌＆＃x27; array＆＃x27;：warde tresgess（json string，number，array，array）

Question

parquet_path =/tmp/test-parquet

t2.json的内容是：

{
   "id": "OK_good2", 
   "some-array": [
      {"array-field-1":"f1a","array-field-2":"f2a"},
      {"array-field-1":"f1b","array-field-2":"f2b"}
   ]
}

从 t2.json 创建dataframe

df = spark.read.json('t2.json')
df = df.withColumn('some-array', col('some-array').cast('string'))
df.write.mode("overwrite").parquet(parquet_path)

：读取的架构

schema = dict(df.dtypes)['some-array'] # o/p array<struct<array-field-1:string,array-field-2:string>>

从 parquet_path

final_df = spark.read.parquet(parquet_path)
final_df.select('some-array').show(3, False)

+------------------------+
|some-array              |
+------------------------+
|[{f1a, f2a}, {f1b, f2b}]|
+------------------------+

：在尝试使用 from_json 进行失败的情况下，尝试获得相同的JSON模式。我无法弄清楚原因。请提供一些帮助。

final_df.select(from_json(col('some-array'), 'array<struct<array-field-1:string,array-field-2:string>>', {'allowUnquotedFieldNames':True}).
                alias('json1')).show(2, False)

抛出错误：

AnalysisException: Cannot parse the schema in JSON format: Unrecognized token 'array': was expecting (JSON String, Number, Array, Object or token 'null', 'true' or 'false')
 at [Source: (String)"array<struct<array-field-1:string,array-field-2:string>>"; line: 1, column: 6]
Failed fallback parsing: Cannot parse the data type: 

如果有人有兴趣，我正在尝试遵循此 post

Answer 1

您的代码中的一些问题。

1. 您正在此行中的JSON失去关键数据。

df = df.withColumn('some-array', col('some-array').cast('string'))

因此，当您读取保存的镶木quet文件时，只会看到此内容。

+------------------------+
|some-array              |
+------------------------+
|[{f1a, f2a}, {f1b, f2b}]|
+------------------------+

而不是。 （这是您期望的。）

+-------------------------------------------------------+
|some-array                                             |
+-------------------------------------------------------+
|[{"array_field_1": "f1a", "array_field_2": "f2a"}, ...]|
+-------------------------------------------------------+

将数组结构施放为JSON字符串的正确方法是使用 to_json 。

df = df.withColumn('some-array', to_json('some-array'))

请检查 df.show（）或 df.take（1）以查看差异。

2. 您的DDL字符串需要（`）用于列名称。 （参考：）

'array<struct<`array-field-1`:string,`array-field-2`:string>>'