对于二元分类，如何按列对数据进行采样，以便 2/3 的数据包含 0，1/3 包含 1？

Question

我有一个包含四列的大型数据集，第三列包含二进制标签（值 0 或 1）。该数据集是不平衡的 - 它包含的 0 比 1 多得多。数据看起来像：

3   5   0   0.4
4   5   1   0.1
5   13  0   0.5
6   10  0   0.8
7   25  1   0.3
:   :   :   :

我知道我可以获得一个包含 50% 0 和 50% 1 的平衡子集，例如：

df_sampled = df.groupby(df.iloc[:,2]).sample(n=20000, random_state=1)

但是我如何修改上面给出的一行来改变 0 和 1 的比率？例如，我如何对该数据进行采样（按第三列），以便 2/3 的数据包含零，1/3 包含 1？

Answer 1

这是一个可能的解决方案：

n_samples = 90000 # total number of samples

df_sampled = pd.concat(
    [group.sample(n=int(n_samples * 2 / 3)) if label == 0
     else group.sample(n=int(n_samples * 1 / 3))
     for label, group in df.groupby(df.iloc[:, 2])]
)

类似的解决方案是：

n_samples = 90000 # total number of samples
ratios = [2 / 3, 1 / 3]

df_sampled = pd.concat(
    [group.sample(n=int(n_samples * ratios[label]))
     for label, group in df.groupby(df.iloc[:, 2])]
)

在这里，我基本上将不同的函数应用于不同的组。