python - 替换数据框中不包含某些单词的所有元素

Question

我有一个非常大的数据框，我想用 NaN 替换所有不包含特定单词的元素（同时保持第一个“id”列不变）。

例如：

index  id    text1                        text2                        ...
1      123   {'"key'": '"living_space'"   '"value'": '"01.04.2022'"}   ...
2      124   {'"key'": '"rooms'"          '"value'": '"3'"}            ...
3      125   23                           {'"key'": '"rooms'"          ...
4      126   45                           Apartment sold               ...

我想保留数据框中包含单词 key 或 value 的所有元素，并用 nan 替换所有其他元素，所以我会得到一个像这样的数据框：

index  id    text1                        text2                        ...
1      123   {'"key'": '"living_space'"   '"value'": '"01.04.2022'"}   ...
2      124   {'"key'": '"rooms'"          '"value'": '"3'"}            ...
3      125   nan                          {'"key'": '"rooms'"          ...
4      126   nan                          nan                          ...

我尝试使用以下代码，但它只是清除整个数据集。

l1 = ['key', 'value']
df.iloc[:,1:] = df.iloc[:,1:].applymap(lambda x: x if set(x.split()).intersection(l1) else '')

提前致谢。

Answer 1

考虑以下方法来解决问题。它由2个部分组成。 （1）在函数substring_filter中实现了决定是否保留或删除数据的逻辑 - 我们只需检查target> target字符串即将包含Words words string /代码>。 （2）实际过滤是用np.Where - Numpy的非常令人信服的辅助功能。

import numpy as np
import pandas as pd


def substring_filter(target, words):
    for word in words:
        if word in target:
            return True
    return False


if __name__ == '__main__':

    df = pd.DataFrame({
        'A': [1, 2, 3, 4],
        'B': [True, False, False, True],
        'C': ['{"key": 1}', '{"value": 2}', 'text', 'abc']})

    words_to_search = ('key', 'value')
    df.loc[:, 'C'] = np.where(
        df.loc[:, 'C'].apply(lambda x: substring_filter(x, words_to_search)),
        df.loc[:, 'C'],
        None)
    print(df)

结果是：

   A      B             C
0  1   True    {"key": 1}
1  2  False  {"value": 2}
2  3  False          None
3  4   True          None