使用层次结构条件SQL Python Pandas删除重复项

Question

我需要在大型数据库中删除重复项，但是要删除的行必须基于使用sqlite或python pandas的层次结构。是否有一种有效的方法可以解决此问题？最好使用Python Pandas DataFrame，但SQLite也可以。

ID	文本	类别
1	文本	优先级3
2	文本	优先级1
3	文本	优先2
4	文本2	优先级3
5	文本2	优先级

应转换为：

ID	文本	类别
2	文本	优先级1
5	文本2	优先级2优先级2

Answer 1

尝试以下尝试：

df = df.sort_values(by=['Text','Category'], ascending=[True,True])
df.groupby('Text')['Category'].first().reset_index()

输出：

索引	文本	类别
0	文本	优先级1
1	文本2	优先级2

Answer 2

@drakax非常相似的方法，但使用drop_duplicates而不是groupby和首先

import pandas as pd

df = pd.DataFrame({
    'ID': [1, 2, 3, 4, 5],
    'Text': ['text', 'text', 'text', 'text 2', 'text 2'],
    'Category': ['Priority 3', 'Priority 1', 'Priority 2', 'Priority 3', 'Priority 2'],
})

df.sort_values(['Text','Category']).drop_duplicates('Text')

Answer 3

避免在可能的时候进行分类，请使用分类来定义优先级的顺序，并获取每组最小的索引：

# priorities in order
priorities = ['Priority 1', 'Priority 2', 'Priority 3']
# set up Categorical
df['Category'] = pd.Categorical(df['Category'], priorities, ordered=True)
# min per group 
df.loc[df.groupby('Text')['Category'].idxmin()]

输出：

   ID    Text    Category
1   2    text  Priority 1
4   5  text 2  Priority 2