如何在python中弄平数据框，其中一列包含一个JSON对象？

Question

我有一个数据框，其中列是一个JSON对象之一，如

customer_id |    date    |             json_object
--------------------------------------------------------------------------
A101        | 2022-06-21 | {'name':['james'],'age':[55], 'hobby':['pubg']}
A102        | 2022-06-22 | {'name':['tarzan'],'status':[]}

Jason对象的内容不统一所示。在上面的示例中，第一行中的JSON对象为“爱好”，该对象在第二行的JSON对象中不存在。在第二行中的相似性，属性状态为空IE []

问题：如何在Python中弄平此数据框以创建一个新的数据框，其中每一行仅与一个JSON对应，如下所示

customer_id |    date    | attribute
---------------------------------------------
A101        | 2022-06-21 | 'name': 'james'
A101        | 2022-06-21 | 'age': 55
A101        | 2022-06-21 | 'hobby': 'pubg'
A102        | 2022-06-22 | 'name': 'tarzan'
A102        | 2022-06-22 | 'status':

Answer 1

假设json_object的每个值是dict，您也可以使用以下方法：

df = pd.DataFrame(
    data = {
        "customer_id": ["A101", "A102"],
        "date": ["2022-06-21", "2022-06-22"],
        "json_object": [{'name': 'james','age':55, 'hobby':'pubg'}, {'name': 'tarzan','status':'single'}]
    }
)
df["json_object"] = df["json_object"].map(lambda x: [[i, x[i]] for i in x])
df = df.explode(column="json_object")
df.json_object = df.json_object.str[0].astype(str) + ": " + df.json_object.str[1].astype(str) 
df

------------------------------------------
    customer_id  date        json_object
0   A101         2022-06-21  name: james
0   A101         2022-06-21  age: 55
0   A101         2022-06-21  hobby: pubg
1   A102         2022-06-22  name: tarzan
1   A102         2022-06-22  status: single
------------------------------------------

---

编辑，

因为您将数据框架更改为

df = pd.DataFrame(
    data = {
        "customer_id": ["A101", "A102"],
        "date": ["2022-06-21", "2022-06-22"],
        "json_object": [{'name': ['james'],'age':[55], 'hobby':['pubg']}, {'name': ['tarzan'],'status':['single']}]
    }
)

我的代码，必须按以下方式调整：

df = pd.DataFrame(
    data = {
        "customer_id": ["A101", "A102"],
        "date": ["2022-06-21", "2022-06-22"],
        "json_object": [{'name': ['james'],'age':[55], 'hobby':['pubg']}, {'name': ['tarzan'],'status':['single']}]
    }
)
df["json_object"] = df["json_object"].map(lambda x: [[i, x[i][0]] for i in x])
df = df.explode(column="json_object")
df.json_object = df.json_object.str[0].astype(str) + ": " + df.json_object.str[1].astype(str) 
df

如果空列表随附，然后只需在lambda函数中添加if-else条件即可。请注意，我还将下一个代码提取中的列重命名。

df = pd.DataFrame(
    data = {
        "customer_id": ["A101", "A102"],
        "date": ["2022-06-21", "2022-06-22"],
        "json_object": [{'name': ['james'],'age':[55], 'hobby':['pubg']}, {'name': ['tarzan'],'status':[]}]
    }
)
df["json_object"] = df["json_object"].map(lambda x: [[i, x[i][0]] if x[i] else [i, ""] for i in x])
df = df.rename(columns={"json_object": "attribute"}).explode(column="attribute")
df.attribute = df.attribute.str[0].astype(str) + ": " + df.attribute.str[1].astype(str) 

Answer 2

我希望我对你了解：

from ast import literal_eval

df["json_object"] = df["json_object"].apply(lambda x: literal_eval(x).items())
df = df.explode("json_object")

之后，df将是：

  customer_id        date       json_object
0        A101  2022-06-21     (name, james)
0        A101  2022-06-21         (age, 55)
0        A101  2022-06-21     (hobby, pubg)
1        A102  2022-06-22    (name, tarzan)
1        A102  2022-06-22  (status, single)

然后：

df["attribute"] = df["json_object"].apply(lambda x: "{}: {}".format(*x))
df = df.drop(columns="json_object")

print(df)

打印：

  customer_id        date       attribute
0        A101  2022-06-21     name: james
0        A101  2022-06-21         age: 55
0        A101  2022-06-21     hobby: pubg
1        A102  2022-06-22    name: tarzan
1        A102  2022-06-22  status: single

Answer 3

这不是您要要求的数据结构，而取决于您的后续步骤，但是通常将一个值放入一个单元格中，不要在单列中混合不同的数据是一个好主意。因此，借助数据

data = {"customer_id": "A101 A102".split(), 
        "date": "2022-06-21 2022-06-22".split(), 
        "json_object": [{'name':['james'], 'age':[55], 'hobby':['pubg']}, {'name':['tarzan'],'status':[]}]}

df = pd.DataFrame(pd.DataFrame(data))

和DF，

  customer_id        date                                        json_object
0        A101  2022-06-21  {'name': ['james'], 'age': [55], 'hobby': ['pu...
1        A102  2022-06-22                 {'name': ['tarzan'], 'status': []}

您也可以做类似的事情

pd.concat([df, pd.DataFrame.from_records(df.json_object)], axis=1).drop("json_object", axis=1)

，这些操作将为您提供单独的列中的数据，（几乎）准备进一步处理。

  customer_id        date      name   age   hobby status
0        A101  2022-06-21   [james]  [55]  [pubg]    NaN
1        A102  2022-06-22  [tarzan]   NaN     NaN     []