在 Spark 结构化流中解释数组 JSON 中的数据帧

Question

我的数据框中有一列下面的 json 字符串，如何分解/压平它以获得单级数据框？ 目前的模式是

df
|-json_data (StringType)

如何拥有以下模式的 df ？

df
|-key1
|-key2_signal
|-key2_value

---

[{
    "key1": 1647336730000,
    "key2": [
      {
        "signal": "signal_key_1",
        "value": 73.6
    },
      {
        "signal": "signal_key_2",
        "value": 3.375
    },
      {
        "signal": "signal_key_3",
        "value": 13.82
    }]
}]

Answer 1

我想你应该这样做。

说明：

1. 创建用于对示例数据进行练习的虚拟模型。 （df1 创建）
2. 获取字符串列并将其转换为实际的 JSON。
3. 选择所有字段。
4. 分解 key2，因为它是一个列表。
5. 从 key2 中选择所有相关键
6. 选择 key1 和 key2 相关数据。使用星号 (*)

import pyspark.sql.functions as f
from pyspark.sql.types import *
import json
df1 = spark.createDataFrame(
    [{'json_data': [json.dumps({
        "key1": 1647336730000,
        "key2": [
            {
                "signal": "signal_key_1",
                "value": 73.6
            },
            {
                "signal": "signal_key_2",
                "value": 3.375
            },
            {
                "signal": "signal_key_3",
                "value": 13.82
            }]
    })]}],
    schema=StructType([StructField('json_data', StringType(), True)])
)
(
    df1
    .withColumn('actual', f.from_json(f.col('json_data'), f.schema_of_json(f.lit(df1.select(f.col("json_data")).first()[0]))))
    .withColumn('data', f.explode('actual'))
    .drop('actual')
    .withColumn('key2', f.explode('data.key2'))
    .drop('json_data')
    .select('data.key1', 'key2.*').show()
    )
# +-------------+------------+-----+
# |         key1|      signal|value|
# +-------------+------------+-----+
# |1647336730000|signal_key_1| 73.6|
# |1647336730000|signal_key_2|3.375|
# |1647336730000|signal_key_3|13.82|
# +-------------+------------+-----+