枢轴pandas dataframe从单行到一行

Question

我最近应用了一个转换以使一个嵌套的JSON不打开，以便可以使用一个平坦的数据集，而在转换起作用时，最终格式并不是我想要的。它将所有数据压缩到一行中，并将后缀添加到列名中，而不是将每个id_prop分为不同的列。

我的JSON格式数据集以使用Pandas复制：

import pandas as pd
json = {"id_prop.0":{"0":1},"id_prop.1":{"0":2},"id_prop.2":{"0":3},"prop_number.0":{"0":123},"prop_number.1":{"0":325},"prop_number.2":{"0":754},"prop_value.0":{"0":1},"prop_value.1":{"0":1},"prop_value.2":{"0":1}}
df = pd.DataFrame.from_dict(json, orient='columns')

我的结果：

	ID_PROP.0	ID_PROP.1	ID_PROP.2	PROP_NUMBER.0	PROP_NUMBER.1	PROP_NUMBER.2	PROP_VALUE.0	PROP_VALUE.1	PROP_VALUE.2
0	1	2	3	123	325	754	1	1 1 1 1 1 1 1 1 1 1	1

我期望结果：

	ID_PROP	PROP_NUMBER	PROP_VALUE
0	1	123	1
1	2	325	1
2	3	754	1

是否有任何方法可以将数据框架旋转到我需要的格式中，其中每行代表单个id_prop的值？

attemps

我已经提取了我需要的列的名称，

def extract_cols(columns):
    myset = set()
    myset_add = myset.add
    return [x for x in columns if not (x in myset or myset_add(x))]

cols = extract_cols(df.columns.str.replace("\.[0-9]", "", regex=True))

而没有后缀：“垂直”我需要使用stack（）>：

df_stacked = df.stack().reset_index(level=1, drop=True)

但是我还没有想出如何组合该信息尚未。任何帮助将不胜感激。

额外：

如果也有一种使用Pyspark应用程序的方法，那么更好！

Answer 1

这是一种方法：

df = df.T
df.index = pd.MultiIndex.from_arrays([[x[x.find('.')+1:] for x in df.index], [x[:x.find('.')] for x in df.index]])
df = df.unstack()

输入：

   id_prop.0  id_prop.1  id_prop.2  prop_number.0  prop_number.1  prop_number.2  prop_value.0  prop_value.1  prop_value.2
0          1          2          3            123            325            754             1             1             1

输出：

  id_prop prop_number prop_value
0       1         123          1
1       2         325          1
2       3         754          1

说明：

• 转台，以便我们可以使用索引，而不是列
• 将每个标签解析为所需的标签（前缀）（前缀），结果编号（后缀）由。字符
• 将DF的索引更新为具有两个级别的多索引：结果编号列表和所需标签的列表
• call unstack旋转一个多索引（所需标签）为列标题

---

<强>更新：要处理结果编号是第二个。分开的令牌，其正确的令牌（如OP的注释中所述），我们可以做到这一点：

import pandas as pd
json = {
    "building.0.description.bedrooms":{"0":"qrs"}, 
    "building.1.description.bedrooms":{"0":"tuv"}, 
    "building.2.description.bedrooms":{"0":"xyz"}, 

    "id_prop.0":{"0":1},"id_prop.1":{"0":2},"id_prop.2":{"0":3},
    "prop_number.0":{"0":123},"prop_number.1":{"0":325},"prop_number.2":{"0":754},
    "prop_value.0":{"0":1},"prop_value.1":{"0":1},"prop_value.2":{"0":1}}
df = pd.DataFrame.from_dict(json, orient='columns')
print(df.to_string())

df = df.T
df.index = pd.MultiIndex.from_arrays([[x.split('.')[1] for x in df.index], ['.'.join(x.split('.')[0:1] + x.split('.')[2:]) for x in df.index]])
df = df.unstack()
df.columns = df.columns.get_level_values(1)
print(df)

输入：输出：

  building.0.description.bedrooms building.1.description.bedrooms building.2.description.bedrooms  id_prop.0  id_prop.1  id_prop.2  prop_number.0  prop_number.1  prop_number.2  prop_value.0  prop_value.1  prop_value.2
0                             qrs                             tuv                             xyz          1          2          3            123            325            754             1             1             1

输出：输出：

  building.description.bedrooms id_prop prop_number prop_value
0                           qrs       1         123          1
1                           tuv       2         325          1
2                           xyz       3         754          1

Answer 2

您可以将列将其拆分为多索引，然后将其堆叠：

df.set_axis(
    pd.MultiIndex.from_tuples([tuple(i) for i in df.columns.str.split(".")]), axis=1
).stack().droplevel(0)