当列包含列表时，检测熊猫中的重复项

Question

当列包含列表或numpy nd数组时，是否有一种合理的方法来检测pandas dataframe中的重复项，如下面的示例吗？我知道我可以将列表转换为字符串，但是来回转换的行为感到不错。另外，列表似乎更清晰，更方便〜我如何到达这里（在线代码） 我要去。

import pandas as pd

df = pd.DataFrame(
    {
        "author": ["Jefe98", "Jefe98", "Alex", "Alex", "Qbert"],
        "date": [1423112400, 1423112400, 1603112400, 1423115600, 1663526834],
        "ingredients": [
            ["ingredA", "ingredB", "ingredC"],
            ["ingredA", "ingredB", "ingredC"],
            ["ingredA", "ingredB", "ingredD"],
            ["ingredA", "ingredB", "ingredD", "ingredE"],
            ["ingredB", "ingredC", "ingredF"],
        ],
    }
)

# Traditional find duplicates
# df[df.duplicated(keep=False)]

# Avoiding pandas duplicated function (question 70596016 solution)
i = [hash(tuple(i.values())) for i in df.to_dict(orient="records")]
j = [i.count(k) > 1 for k in i]
df[j]

两种方法（后者此替代发现重复的答案）

typeerror：不可用的类型：'list'。

当然，如果数据帧看起来像这样：

df = pd.DataFrame(
    {
        "author": ["Jefe98", "Jefe98", "Alex", "Alex", "Qbert"],
        "date": [1423112400, 1423112400, 1603112400, 1423115600, 1663526834],
        "recipe": [
            "recipeC",
            "recipeC",
            "recipeD",
            "recipeE",
            "recipeF",
        ],
    }
)

这让我想知道像整数编码之类的东西是否合理？这与从字符串转换/从字符串转换没有什么不同，但至少它是清晰的。另外，建议直接从将不胜感激（即，完全避免列表）。

Answer 1

使用MAP 元组

out = df[df.assign(rating = df['rating'].map(tuple)).duplicated(keep=False)]
Out[295]: 
   author        date                       rating
0  Jefe98  1423112400  [ingredA, ingredB, ingredC]
1  Jefe98  1423112400  [ingredA, ingredB, ingredC]