将 JSON 转换为数据帧

Question

我正在使用Python，我有以下JSON，我需要将其转换为Dataframe：

JSON：

{"Results": 
        {"forecast": [2.1632421537363355, 16.35421956127545], 
         "prediction_interval": ["[-114.9747272420262, 119.30121154949884]", 
                                 "[-127.10990770140964, 159.8183468239605]"], 
         "index": [{"SaleDate": 1644278400000, "OfferingGroupId": 0}, 
                   {"SaleDate": 1644364800000, "OfferingGroupId": 1}]
        }
}

预期的Dataframe输出：

Forecast                 SaleDate     OfferingGroupId
2.1632421537363355       2022-02-08    0
16.35421956127545        2022-02-09    1

我已经尝试了一些方法，但没有取得任何进展，我的最后一次尝试是：

string = '{"Results": {"forecast": [2.1632421537363355, 16.35421956127545], "prediction_interval": ["[-114.9747272420262, 119.30121154949884]", "[-127.10990770140964, 159.8183468239605]"], "index": [{"SaleDate": 1644278400000, "OfferingGroupId": 0}, {"SaleDate": 1644364800000, "OfferingGroupId": 1}]}}'
json_obj = json.loads(string)
df = pd.DataFrame(json_obj)
print(df)

df = pd.concat([df['Results']], axis=0)
df = pd.concat([df['forecast'], df['index'].apply(pd.Series)], axis=1)

这导致了错误：

属性错误：“列表”对象没有属性“应用”

Answer 1

一种可能的方法是根据“Results”下的值创建一个 DataFrame（这将创建一个名为“index”的列），并使用“index”列构建另一个 DataFrame，然后将其连接回原始数据数据框：

df = pd.DataFrame(data['Results'])
df = df.join(pd.DataFrame(df['index'].tolist())).drop(columns=['prediction_interval', 'index'])
df['SaleDate'] = pd.to_datetime(df['SaleDate'], unit='ms')

输出：

    forecast   SaleDate  OfferingGroupId
0   2.163242 2022-02-08                0
1  16.354220 2022-02-09                1

Answer 2

不是很漂亮，但我想你可以通过将其强制放入对齐的元组列表来扔掉所有使事情变得复杂的嵌套，然后使用它：

import json
import pandas as pd

string = '{"Results": {"forecast": [2.1632421537363355, 16.35421956127545], "prediction_interval": ["[-114.9747272420262, 119.30121154949884]", "[-127.10990770140964, 159.8183468239605]"], "index": [{"SaleDate": 1644278400000, "OfferingGroupId": 0}, {"SaleDate": 1644364800000, "OfferingGroupId": 1}]}}'
results_dict = json.loads(string)["Results"]
results_tuples = zip(results_dict["forecast"],
                     [d["SaleDate"] for d in results_dict["index"]],
                     [d["OfferingGroupId"] for d in results_dict["index"]])
df = pd.DataFrame(results_tuples, columns=["Forecast", "SaleDate", "OfferingGroupId"])
df['SaleDate'] = pd.to_datetime(df['SaleDate'], unit='ms')
print(df)
>     Forecast   SaleDate  OfferingGroupId
  0   2.163242 2022-02-08                0
  1  16.354220 2022-02-09                1

或者相同的想法，但强制将其放入对齐的字典格式：

string = '{"Results": {"forecast": [2.1632421537363355, 16.35421956127545], "prediction_interval": ["[-114.9747272420262, 119.30121154949884]", "[-127.10990770140964, 159.8183468239605]"], "index": [{"SaleDate": 1644278400000, "OfferingGroupId": 0}, {"SaleDate": 1644364800000, "OfferingGroupId": 1}]}}'
results_dict = json.loads(string)["Results"]
results_dict = {"Forecast": results_dict["forecast"],
                "SaleDate": [d["SaleDate"] for d in results_dict["index"]],
                "OfferingGroupId": [d["OfferingGroupId"] for d in results_dict["index"]]}
df = pd.DataFrame.from_dict(results_dict)
df['SaleDate'] = pd.to_datetime(df['SaleDate'], unit='ms')
print(df)
>     Forecast   SaleDate  OfferingGroupId
  0   2.163242 2022-02-08                0
  1  16.354220 2022-02-09                1

通常根据我让 pandas 的经验读取非预期的输入格式，然后使用 pandas 方法来修复它，会比创建一个字典或元组列表格式作为中间步骤并只是读取它更令人头痛。但这可能只是个人喜好。

Answer 3

只需将 index 作为一列加载，然后使用 tolist() 将其导出为两列并创建一个新的 DataFrame。通过 pd.concat() 将新数据帧与原始数据帧合并。

在此示例中，我还包含了 prediction_interval 列，因为我认为您可能也需要这样做。

d = {"Results":
        {"forecast": [2.1632421537363355, 16.35421956127545],
         "prediction_interval": ["[-114.9747272420262, 119.30121154949884]", "[-127.10990770140964, 159.8183468239605]"],
         "index": [{"SaleDate": 1644278400000, "OfferingGroupId": 0}, {"SaleDate": 1644364800000, "OfferingGroupId": 1}]
        }
}

res = pd.DataFrame(d['Results'])

sd = pd.DataFrame(res['index'].tolist())
sd['SaleDate'] = pd.to_datetime(sd['SaleDate'], unit='ms')

pi = pd.DataFrame(res['prediction_interval'].map(json.loads).tolist(), columns=['pi_start', 'pi_end'])

df = pd.concat((res, pi, sd), axis=1).drop(columns=['index', 'prediction_interval'])

Answer 4

您必须使用 pandas 库：

import json
import pandas as pd

with open('data.json') as f:
    data = json.load(f)
print(data)
df = pd.read_json('data.json')
df