JSON FOMPTING PYSPARK

Question

我有一个以下格式存储为字符串的JSON，

{
'aaa':'',
'bbb':'',
'ccc':{
       'ccc':[{dict of values}] //list of dictionaries
      }
'ddd':'',
'eee':{
       'eee':[{dict of values},{dict of values},{dict of values}] //list of dictionaries
      }
}

以这种格式有将近70亿个JSON字符串。我想使用python pandas的json_normize，但是由于记录计数，我正在考虑使用pyspark。有人可以指导什么是处理和存储这些JSON字符串的最佳方法。我需要一个将JSON中所有键的输出作为列以及它们的数据作为行，然后将它们存储为Parquet文件。

另外，在某些情况下，并非所有键都会存在，在这种情况下，我需要在该键中存储null或无需存储null或没有任何密钥，以进行JSON字符串

样本输入： {“ AAA”：“ 123”，“ BBB”：“ ASDNCJ”，“ CCC”：{“ CCC”：[{“ CCC1”：true，“ ccc2”：“ ABCD”，“ CCC3”，“ CCC3”：“ ABCD”} ，{“ ccc1”：true，“ ccc2”：“ abcde”，“ ccc3”：“ abcdee”}，{“ ccc1”：true，ccc2'：“ ccc2”：“ abcdef”，“ ccc3”，“ ccc3”：“ abcdefe”}]}]} ，“ ddd”：“ aabcd”，“ eee”：{“ eee”：[{“ eee1”：“ 123”，“ eee2”：“ 1”，“ eee3”：“ hcudh”}，{“ eee1” “ 2234”，“ EEE2”：“ 1”，“ EEE3”：“ HHCB”}]}}}}}}}}}}}}

，我想拥有3个表，一个用于键AAA，BBB和DDD。 CCC中的键和EEE的第三个表。

Answer 1

如果您不一定需要使用Pyspark（例如，您只需要阅读）即可。然后，我建议使用内置JSON模块。以下是一个用途的示例：

import json

with open("your_file.json", "r") as f:
    raw_json = json.load(f)

您还可以详细介绍如何形成JSON数据。