Spark DDL 架构 JSON 结构

Question

问题

我试图在 pyspark 中定义嵌套 .json 模式，但无法使 ddl_schema 字符串正常工作。

通常在 SQL 中这将是 ROW，我已尝试下面的 STRUCT 但无法获得正确的数据类型，这是错误...

ParseException: 
mismatched input '(' expecting {<EOF>, ',', 'COMMENT', NOT}(line 6, pos 15)

== SQL ==

    driverId INT,
    driverRef STRING,
    number STRING,
    code STRING,
    name STRUCT(forename STRING, surname STRING),
---------------^^^
    dob DATE,
    nationality STRING,
    url STRING

数据示例

            +--------+----------+------+----+--------------------+----------+-----------+--------------------+
            |driverId| driverRef|number|code|                name|       dob|nationality|                 url|
            +--------+----------+------+----+--------------------+----------+-----------+--------------------+
            |       1|  hamilton|    44| HAM|   {Lewis, Hamilton}|1985-01-07|    British|http://en.wikiped...|

代码示例

        mnt = "/mnt/dev/root"
        env = "raw"
        path = "formula1/drivers"
        fileFormat = "json"
        
        inPath = f"{mnt}/{env.upper()}/{path}.{fileFormat}"
        
        
        options = {'header': 'True'}
        
        ddl_schema = """
            driverId INT,
            driverRef STRING,
            number STRING,
            code STRING,
            name STRUCT(forename STRING, surname STRING),
            dob DATE,
            nationality STRING,
            url STRING
        """
        
        drivers_df = (spark
                       .read
                       .options(**options)
                       .schema(ddl_schema)
                       .format(fileFormat)
                       .load(inPath)
                     )

Answer 1

您使用的 STRUCT 语法错误。
这是正确的：

name STRUCT<forename:STRING,surname:STRING>

https://spark.apache.org/docs /latest/sql-ref-datatypes.html
（搜索复杂类型并选择 SQL 选项卡）

数据类型	SQL 名称
BooleanType	BOOLEAN
ByteType	BYTE、TINYINT
ShortType	SHORT、SMALLINT
IntegerType	INT、INTEGER
LongType	LONG、BIGINT
FloatType	FLOAT、REAL
DoubleType	DOUBLE
DateType	DATE
TimestampType	TIMESTAMP
StringType	STRING
BinaryType	BINARY
DecimalType	DECIMAL, DEC、NUMERIC
YearMonthIntervalType	INTERVAL YEAR、INTERVAL 年到月、INTERVAL MONTH
DayTimeIntervalType	INTERVAL DAY、INTERVAL DAY 到 HOUR、INTERVAL DAY 到 MINUTE、INTERVAL DAY 到 SECOND、INTERVAL 小时、INTERVAL 小时到分钟、INTERVAL 小时到秒、INTERVAL MINUTE、INTERVAL分钟到第二，间隔第二
ArrayType	ARRAY
StructType	STRUCT注意：“：”是可选的。
MapType	MAP