可视化数据框中的各行和列之间的多个分类值如何差异

Question

我有以下数据框，其中每列代表索引中这些项目（a，b，…）中的分类算法，

df = pd.DataFrame(index = ['a', 'b', 'c', 'd', 'e', 'f', 'g'])
df['A'] = ['a1', 'a1', 'a2', 'a2', 'a3', 'a4', 'a4']
df['B'] = ['b2', 'b2', 'b2', 'b1', 'b4', 'b3', 'b3']
df['C'] = ['c4', 'c4', 'c4', 'c3', 'c2', 'c2', 'c1']

df:
    A   B   C
a   a1  b2  c4
b   a1  b2  c4
c   a2  b2  c4 
d   a2  b1  c3
e   a3  b4  c2
f   a4  b3  c2
g   a4  b3  c1

我想在每列中重新排序类别名称，以便我可以更好地评估索引项目是否被类似地分类。跨列。

有没有办法可以看到类别在各列之间的不同？类似于vendiagram。

先感谢您。

Answer 1

这是我对您有趣的问题的看法。

使用Python标准库 difflib 模块，该模块为计算Deltas提供帮助，您可以定义辅助功能。

from difflib import SequenceMatcher

# Define a simple helper function
def ratio(a, b):
    return SequenceMatcher(None, a, b).ratio()

一般的想法是使用唯一标识符（基于所有列）对行之间的相似性进行评分，并从最相似的行中对数据框进行排序。

# Create a column of unique identifiers: (a, a1b2c4) for instance
df["value"] = list(zip(df.index, df["A"] + df["B"] + df["C"]))

# Find similarities and assign ratio to each unique identifier
df = df.assign(
    match=df["value"].map(
        lambda x: {
            value: ratio(x[1], value[1])
            for value in df["value"]
            if x[0] != value[0] or ratio(x[1], value[1]) != 1
        }
    )
)

# Get best ratio key: (b, a1b2c4) for instance
df["key"] = df["match"].map(lambda x: max(x, key=x.get))

# Get best match ratio
df["ratio"] = df.apply(lambda x: round(x["match"][x["key"]] * 100), axis=1)

# Sort dataframe by best ratio and cleanup
df = (
    df.sort_values("ratio", ascending=False)
    .drop(columns=["value", "match", "key"])
    .drop(columns="ratio")
)

print(df)
# Output

然后，将任意颜色分配给第一行（整体）及其个体值，并通过每一行，并分配上一个颜色（如果相同）或新的颜色（两者都行本身和值），例如，行中的c2 e和f具有相同的颜色。

COLORS = [
    "#F0A3FF", "#0075DC", "#FFA405", "#5EF1F2", "#FFFF00",
    "#E0FF66", "#FF5005", "#FFA8BB", "#2BCE48", "#993F00",
    "#F00300", "#19700C", "#00F405", "#4E61F2", "#FF90FF",
    "#E0FFFF", "#FF0005",
]

# Assign colors to rows and values homogenously
color_rows = {}
color_values = {}

for row in df.to_dict(orient="index").values():
    color = COLORS.pop(0)
    for value in row.values():
        if value not in color_rows:
            color_rows[value] = color
            color_values[value] = color
color_mapping = color_rows | color_values

最后，在jupyter笔记本电脑单元格中，运行：

df.style.applymap(lambda v: f"background-color: {color_mapping.get(v, '')}")

输出：