为什么读取json格式文件会导致所有记录都进入pyspark中的_corrupt_record

Question

我正在从 api 调用读取数据，数据采用 json 形式，如下所示：

{'success': True, 'errors': \[\], 'requestId': '151a2#fg', 'warnings': \[\], 'result': \[{'id': 10322433, 'name': 'sdfdgd', 'desc': '', 'createdAt': '2016-09-20T13:48:58Z+0000', 'updatedAt': '2020-07-16T13:08:03Z+0000', 'url': 'https://eda', 'subject': {'type': 'Text', 'value': 'Register now'}, 'fromName': {'type': 'Text', 'value': 'ramjdn fg'}, 'fromEmail': {'type': 'Text', 'value': '[email protected]'}, 'replyEmail': {'type': 'Text', 'value': '[email protected]'}, 'folder': {'type': 'Folder', 'value': 478, 'folderName': 'sjha'}, 'operational': False, 'textOnly': False, 'publishToMSI': False, 'webView': False, 'status': 'approved', 'template': 1031, 'workspace': 'Default', 'isOpenTrackingDisabled': False, 'version': 2, 'autoCopyToText': True, 'preHeader': None}\]}

现在，当我使用以下代码从该数据创建数据帧时：

df = spark.read.json(sc.parallelize(\[data\]))

我只得到一列，即 _corrupt_record，下面是数据帧 o /p 我明白了。我尝试过使用 multine is true 但仍然没有得到所需的输出。

+--------------------+
|     \_corrupt_record|
\+--------------------+
|{'id': 12526, 'na...|
\+--------------------+

预期的 o/p 是将 json 分解为不同列后的数据帧，例如 id 作为一列，name 作为另一列等等。

我已经尝试了很多方法但无法解决这个问题。

Answer 1

我做了一些改变并且奏效了。

1. 我需要定义自定义架构

2. 然后使用这段代码

   data = sc.parallelize([items])
   df = Spark.createDataFrame(数据,模式=模式)
   

并且它起作用了。

如果有任何优化的解决方案，请随时分享。