如何从一行文本创建字典？

Question

我有一个包含数千行的生成文件，如下所示：

CODE,XXX,DATE,20101201,TIME,070400,CONDITION_CODES,LTXT,PRICE,999.0000,QUANTITY,100,TSN,1510000001

有些行有字段较多，其他字段较少，但都遵循相同的键值对模式，并且每行都有一个 TSN 字段。

在对文件进行一些分析时，我编写了一个如下所示的循环来将文件读入字典中：

#!/usr/bin/env python

from sys import argv

records = {}
for line in open(argv[1]):
    fields = line.strip().split(',')
    record = dict(zip(fields[::2], fields[1::2]))
    records[record['TSN']] = record

print 'Found %d records in the file.' % len(records)

...这很好，并且完全按照我的要求执行（ print 只是一个简单的例子）。

然而，它对我来说并没有特别“Pythonic”的感觉，而这行：

dict(zip(fields[::2], fields[1::2]))

只是感觉“笨重”（它在字段上迭代了多少次？）。

在 Python 2.6 中，是否有更好的方法只需使用标准模块即可实现此目的？

Answer 1

在 Python 2 中，您可以在 itertools 模块中使用 izip 以及生成器对象的魔力来编写自己的函数，以简化 dict 值对的创建 记录。我从一个类似名称（尽管功能不同）的 pairwise() 的想法Python 2 itertools 文档中的 ="nofollow noreferrer">配方。

要在 Python 3 中使用该方法，您只需使用普通的 zip() 即可，因为它执行 Python 2 中 izip() 的操作，导致后者从 中删除itertools — 下面的示例解决了这个问题，并且应该在两个版本中都可以工作。

try:
    from itertools import izip
except ImportError:  # Python 3
    izip = zip

def pairwise(iterable):
    "s -> (s0,s1), (s2,s3), (s4, s5), ..."
    a = iter(iterable)
    return izip(a, a)

可以在读取 for 循环的文件中像这样使用：

from sys import argv

records = {}
for line in open(argv[1]):
    fields = (field.strip() for field in line.split(','))  # generator expr
    record = dict(pairwise(fields))
    records[record['TSN']] = record

print('Found %d records in the file.' % len(records))

但是等等，还有更多！

可以创建一个通用版本，我将其称为 grouper() ，它又对应于一个类似名称的 itertools 配方（在 pairwise() 下面列出）：

def grouper(n, iterable):
    "s -> (s0,s1,...sn-1), (sn,sn+1,...s2n-1), (s2n,s2n+1,...s3n-1), ..."
    return izip(*[iter(iterable)]*n)

可以在您的 中像这样使用for 循环：

    record = dict(grouper(2, fields))

当然，对于像这样的特定情况，可以轻松使用 functools.partial() 并用它创建类似的 pairwise() 函数（这在 Python 2 和 3 中都适用）：

import functools
pairwise = functools.partial(grouper, 2)

Postscript

除非有大量字段，否则您可以从成对的行项目中创建一个实际序列（而不是使用 生成器表达式 没有 len())：

fields = tuple(field.strip() for field in line.split(','))

优点是它允许使用简单的切片来完成分组：

try:
    xrange
except NameError:  # Python 3
    xrange = range

def grouper(n, sequence):
    for i in xrange(0, len(sequence), n):
        yield sequence[i:i+n]

pairwise = functools.partial(grouper, 2)

Answer 2

没有那么好，只是更高效......

完整说明

Answer 3

import itertools

def grouper(n, iterable, fillvalue=None):
    "grouper(3, 'ABCDEFG', 'x') --> ABC DEF Gxx"
    args = [iter(iterable)] * n
    return itertools.izip_longest(fillvalue=fillvalue, *args)

record = dict(grouper(2, line.strip().split(","))

来源

Answer 4

如果我们无论如何都要把它抽象成一个函数，那么“从头开始”编写并不太难：

def pairs(iterable):
    iterator = iter(iterable)
    while True:
        try: yield (iterator.next(), iterator.next())
        except: return

不过，罗伯特的配方版本肯定在灵活性方面赢得了分数。