过滤列表

Question

我想过滤列表中重复的元素 例如

foo = ['a','b','c','a','b','d','a','d']

我只感兴趣：

['a','b','c','d']

实现这一目标的有效方法是什么？ 干杯

Answer 1

列表(设置 (foo)) 如果您使用的是 Python 2.5 或更高版本，但这不会维持顺序。

Answer 2

如果您不关心元素顺序，请将 foo 转换为 set 。

Answer 3

由于列表理解没有保留顺序的答案，因此我建议如下：

>>> temp = set()
>>> [c for c in foo if c not in temp and (temp.add(c) or True)]
['a', 'b', 'c', 'd']

也可以写为

>>> temp = set()
>>> filter(lambda c: c not in temp and (temp.add(c) or True), foo)
['a', 'b', 'c', 'd']

取决于 foo 中有多少元素，通过重复哈希，您可能会获得更快的结果查找而不是通过临时列表重复迭代搜索。

c not in temp 验证 temp 没有项目 c；当项目添加到集合中时，或 True 部分强制将 c 发送到输出列表。

Answer 4

>>> bar = []
>>> for i in foo:
    if i not in bar:
        bar.append(i)

>>> bar
['a', 'b', 'c', 'd']

这将是从列表中删除重复项并尽可能保留顺序的最直接方法（尽管这里的“顺序”本质上是错误的概念）。

Answer 5

如果您关心订购的可读方式如下，

def filter_unique(a_list):
    characters = set()
    result = []
    for c in a_list:
        if not c in characters:
            characters.add(c)
            result.append(c)
    return result

根据您对速度、可维护性、空间消耗的要求，您可能会发现上述方式不合适。在这种情况下，请指定您的要求，我们可以尽力做得更好:-)

Answer 6

如果你编写一个函数来执行此操作，我会使用生成器，它只是想在这种情况下使用。

def unique(iterable):
    yielded = set()
    for item in iterable:
        if item not in yielded:
            yield item
            yielded.add(item)

Answer 7

受到 Francesco 的回答的启发，而不是制作我们自己的 filter()-type 函数，让内置函数为我们做一些工作：

def unique(a, s=set()):
    if a not in s:
        s.add(a)
        return True
    return False

用法：

uniq = filter(unique, orig)

这可能会或可能不会比在纯 Python 中实现所有工作的答案执行得更快或更慢。基准测试并查看。当然，这只有效一次，但它演示了这个概念。当然，理想的解决方案是使用类：

class Unique(set):
    def __call__(self, a):
        if a not in self:
            self.add(a)
            return True
        return False

现在我们可以随心所欲地使用它：

uniq = filter(Unique(), orig)

我们可能（也可能不会）再次将性能抛到了九霄云外——使用内置函数的好处可以通过类的开销来抵消。我只是觉得这是一个有趣的想法。

Answer 8

如果您最后需要一个排序列表，这就是您想要的：

>>> foo = ['a','b','c','a','b','d','a','d']
>>> bar = sorted(set(foo))
>>> bar
['a', 'b', 'c', 'd']

Answer 9

import numpy as np
np.unique(foo)

Answer 10

你可以做一些丑陋的列表理解黑客。

[l[i] for i in range(len(l)) if l.index(l[i]) == i]