查找熊猫数据框列的所有独特组合

Question

我有一个数据平衡问题，其中我的图像具有多个类，即每个图像都可以有多个类或一个类。我有标签文件，该文件将所有从A到G和FN（图像名称）命名为列的类。每列具有一个值0或1，其中0表示图像中没有类，而1表示图像中存在特定类。现在，我想以一种方式将数据帧子集成，以使我获得不同类别的不同类别 << img src =“ https://i.sstatic.net/woux2.png” alt =“ labels dataframe”>

问题是，如果我将多个条件与dataframe命令（例如表示dataframe：

pp_A_B=pp[(pp['A']==1) & (pp['B']==1) & (pp['C']==0) & (pp['D']==0) & (x['E']==0) & (x['F']==0) &(pp['G']==0)]

在这里，pp_a_b为我提供了只有A和B类的图像。

我将不得不编写多个变量以了解各种组合。方式。

Answer 1

嗨，您应该使用groupyby和get_group方法来提取所需的元素。

如果您想获取数据= 0＆amp; b = 0：

#Simulation of your datas
nb_rows = 10000
nb_colums = 5
df_array = np.random.randint(0,2, size =(nb_rows, nb_colums))
df = pd.DataFrame(df_array)
df.columns = ["A", "B", "C", "D", "E"]
df["infos"] = [f"Exemples of data {i}" for i in range(len(df))]

更新：

现在使用上述方法：

df.groupby(["A", "B"]).get_group((0, 0))

在这里您可以轻松找到所有满足a = 0的数据＆amp; B = 0.

Now you can iterate thought all of your targeted columns combinations this way :

columns_to_explore = ["A", "B", "C"]
k = [0]*len(columns_to_explore)
for i in range(2**len(columns_to_explore)):
    i_binary = str(bin(i)[2:])
    i_binary = "".join(["0" for _ in range(len(columns_to_explore)-len(i_binary))]) + i_binary
    list_values = [int(x) for x in i_binary]
    df_selected = df.groupby(columns_to_explore).get_group(tuple(list_values))
    #Do something then ...

Answer 2

让我们假设您有以下数据框架：

import pandas as pd
import random


attr = [0, 1]
N = 10000
rg = range(N)

df = pd.DataFrame(
    {
        'A': [random.choice(attr) for i in rg],
        'B': [random.choice(attr) for i in rg],
        'C': [random.choice(attr) for i in rg],
        'D': [random.choice(attr) for i in rg],
        'E': [random.choice(attr) for i in rg],
        'F': [random.choice(attr) for i in rg],
        'G': [random.choice(attr) for i in rg],
    }
)

并且要将所有数据框架组合存储在列表中。 ，您可以编写以下功能以获取与0和1相同组合相对应的所有索引

import random
from numba import njit

@njit
def _get_index_combinations(possible_combinations, values):
    index_outpus = []
    for combination in possible_combinations:
        mask = values == combination
        _temp = [i for i in range(len(mask)) if mask[i].all()]
        index_outpus.append(_temp)
    return index_outpus

possible_combinations = df.drop_duplicates().values
index_outpus = _get_index_combinations(possible_combinations, df.values) 

然后 所有索引组合：

sliced_dfs = [df.loc[df.index.isin(index)] for index in index_outpus]

例如，如果您运行，

print(sliced_dfs[0])

您将获得一个可能组合的查询。

注意：

对于所有可能的组合，您甚至可以进一步创建几个数据帧（未存储在列表中）。如果您弄脏并使用这样的东西：

col_names = "ABCDEFG"
final_output = {"all_names": [], "all_querys": []}
for numerator, i in enumerate(possible_combinations):
    df_name = ""
    col_pos = np.where(i)[0]
    for pos in col_pos:
        df_name += col_names[pos]
    final_output["all_names"].append(f"df_{df_name}")
    query_code = f"df_{df_name} = df.loc[df.index.isin({index_outpus[numerator]})]"
    final_output["all_querys"].append(query_code)
    exec(query_code)

它会创建一个名为final_output的字典。在那里，存储了所有创建的数据帧的名称。例如：

{'all_names': ['df_ABG', 'df_G', 'df_AC', ...], 'all_querys': [...]}

然后，您只需在all_names中打印所有帧，例如df_abg，它返回您：

      A  B  C  D  E  F  G
0     1  1  0  0  0  0  1
59    1  1  0  0  0  0  1
92    1  1  0  0  0  0  1
207   1  1  0  0  0  0  1
211   1  1  0  0  0  0  1
284   1  1  0  0  0  0  1
321   1  1  0  0  0  0  1
387   1  1  0  0  0  0  1
415   1  1  0  0  0  0  1
637   1  1  0  0  0  0  1
....