Python中电子邮件列表的高效处理

Question

我有一个很长的电子邮件列表，我想对其进行处理：

1. 将好电子邮件与坏电子邮件分开，并
2. 删除重复项，但将所有非重复项保持相同的顺序。

这就是我到目前为止所拥有的：

email_list = ["[email protected]", "invalid_email", ...]
email_set = set()
bad_emails = []
good_emails = []
dups = False
for email in email_list:
    if email in email_set:
        dups = True
        continue
    email_set.add(email)
    if email_re.match(email):
        good_emails.append(email)
    else:
        bad_emails.append(email)

我希望这段代码尽可能快，并且不太重要，以最大限度地减少内存需求。有没有办法在Python中改进这个？也许使用列表理解或迭代器？

编辑：抱歉！忘记提及这是 Python 2.5，因为这是针对 GAE 的。

email_re 来自 django.core.validators

Answer 1

查看： Python 有有序集吗？ ，然后选择您的实现喜欢。

所以只是：

email_list = OrderedSet(["[email protected]", "invalid_email", ...])

bad_emails = [] 
good_emails = []

for email in email_list:
    if email_re.match(email):
        good_emails.append(email)
    else:
        bad_emails.append(email)

可能是您可以实现的最快、最简单的解决方案。

Answer 2

我想不出任何方法可以加快你的速度。使用 set 来跟踪事物的速度很快，使用 list 存储列表的速度也很快。

我喜欢 OrderedSet 解决方案，但我怀疑 OrderedSet 的 Python 实现会比您编写的更快。

您可以使用 OrderedDict 来解决这个问题。但这是为 Python 2.7 添加的。您可以使用食谱（例如：http://code.activestate.com/recipes/576693/）添加 OrderedDict 但我再次认为它不会比你拥有的更快。

我正在尝试考虑用 C 实现的 Python 模块来解决这个问题。我认为这是击败你的代码的唯一希望。但我什么也没想。

如果您可以摆脱 dups 标志，只需运行更少的 Python 代码就会更快。

有趣的问题。祝你好运。