在 Pandas 的 Dataframe 中提取数组列内的 JSON 数据

Question

我正在使用 Pandas Library 在 Python 中的数据框中提取 JSON 数组列，其中我有这样的数据

>df

id      partnerid   payments

5263    org1244     [{"sNo": 1, "amount":"1000"}, {"sNo": 2, "amount":"500"}]
5264    org1245     [{"sNo": 1, "amount":"2000"}, {"sNo": 2, "amount":"600"}]
5265    org1246     [{"sNo": 1, "amount":"3000"}, {"sNo": 2, "amount":"700"}]

我想提取列表中的 JSON 数据并将其添加为同一数据框中的列 像这样，

>mod_df

id      partnerid   sNo amount

5263    org1244     1   1000
5263    org1244     2   500
5264    org1245     1   2000
5264    org1245     2   600
5265    org1246     1   3000
5265    org1246     2   700

我尝试过这种方法

import pandas as pd
import json as j

df = pd.read_parquet('sample.parquet')

js_loads = df['payments'].apply(j.loads)
js_list = list(js_loads)
j_data = j.dumps(js_list)
df = df.join(pd.read_json(j_data))
df = df.drop(columns=['payments'] , axis=1)

，但是只有当我们在列中而不是 JSON 列表中有 JSON 数据时，这种方法才有效。 有人可以解释一下，我怎样才能达到我想要的输出？

Answer 1

通过 ast.literal_eval 将其转换为 list 并使用 explode() 将每个元素转换为一行，并复制其他列。

然后，使用 .apply(pd.Series) 将 dict-like 转换为 series。

最后，使用 pd.concat() 连接到原始数据帧。

---

示例：

import ast

# sample data
d = {'col1': [0, 1, 2], 'payments': ['[{"sNo": 1, "amount":"1000"}, {"sNo": 2, "amount":"500"}]', '[{"sNo": 1, "amount":"2000"}, {"sNo": 2, "amount":"600"}]', '[{"sNo": 1, "amount":"3000"}, {"sNo": 2, "amount":"700"}]']}
df = pd.DataFrame(data=d, index=[0, 1, 2])

df['payments'] = df['payments'].apply(ast.literal_eval)
df = df.explode('payments') 
out = pd.concat([df.drop(['payments'], axis=1), df['payments'].apply(pd.Series)], axis=1).reset_index(drop=True)

输出：

 col1 s无金额
0 0 1 1000
1 0 2 500
2 1 1 2000
3 1 2 600
4 2 1 3000
5 2 2 700