在 Python 中使用 Groupby 对 Access 表中的列进行分组

Question

我已经使用 itertools 模块中的 groupby 函数有一段时间了（就像几天一样），

for k, g in groupby(data, keyfunc):

我真的很难理解语法。我尝试了各种不同的方法，但我真的不知道要为“data”和“keyfunc”输入什么，并让它在打印语句中返回我想要的数据组。

我正在做的是循环访问表中的行。

我将一个变量设置为访问表中的游标搜索（已排序）并拉出我想要的列。

for row in cursor:
    print row.ROAD_TYPE

这将返回：

TRUNK ROAD
TRUNK ROAD
TRUNK ROAD
TRUNK ROAD
COLLECTOR HIGHWAY
COLLECTOR HIGHWAY
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
MAJOR ROAD
MAJOR HIGHWAY

我想将这些值分组在一起，并让它为我返回字符串值，以便它打印如下内容：

TRUNK ROAD
TRUNK ROAD
TRUNK ROAD
TRUNK ROAD

COLLECTOR HIGHWAY
COLLECTOR HIGHWAY

ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD
ACCESS ROAD

MAJOR ROAD

MAJOR HIGHWAY

最后，我想根据这些新组对第二列进行分组，以便我得到如下内容：

TRUNK ROAD  M1
TRUNK ROAD  M1

TRUNK ROAD  M2

TRUNK ROAD  M3


COLLECTOR HIGHWAY  M1

COLLECTOR HIGHWAY  M2


ACCESS ROAD  M1
ACCESS ROAD  M1

ACCESS ROAD  M3
ACCESS ROAD  M3

ACCESS ROAD  M7
ACCESS ROAD  M7

ACCESS ROAD  M8


MAJOR ROAD  M8


MAJOR HIGHWAY  M8

我知道这可能比我自己想象的要简单得多，我觉得有一个简单的答案，但我完全被难住了，我似乎无法在互联网上找到以某种方式解释 groupby 语法的示例我明白。请感受一下

Answer 1

import itertools as it
for key, group in it.groupby(cursor, lambda row: row.ROAD_TYPE):
    for sec_col,pairs in it.groupby(group, lambda row: row.SECOND_COLUMN):
        for row in pairs:
            print('{t}  {s}'.format(t=row.ROAD_TYPE,s=row.SECOND_COLUMN))
        print
    print

这里有两个例子来帮助理解groupby：

[list(g) for k, g in it.groupby('AAAABBBCCD')]
# [['A', 'A', 'A', 'A'], ['B', 'B', 'B'], ['C', 'C'], ['D']]

上面，所有项目都是相同的，归为一组。

现在我们添加一个关键函数 keyfunc：

keyfunc=lambda x: x//3
data=range(13)
[list(g) for k,g in it.groupby(data,keyfunc)]
# [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 10, 11], [12]]
[k for k,g in it.groupby(data,keyfunc)]
# [0, 1, 2, 3, 4]

现在我们不再按数据中的项目进行分组，而是根据每个 x 的 keyfunc(x) 进行分组> 在数据中。

Answer 2

itertools.groupby 背后的想法是解决以下基本问题：“我想迭代一个序列，分析其中的每个事物，并根据分析过程以不同的方式处理每个事物”。 groupby 将序列分成组，但保留原始序列的顺序。

from itertools import groupby
i = groupby(xrange(12), lambda v: v / 3)
results = [(x[0], list(x[1])) for x in i]
print str(results)

上面打印：[(0, [0, 1, 2]), (1, [3, 4, 5]), (2, [6, 7, 8]), (3, [9, 10, 11])]

您会注意到，为了获得结果列表，我必须进行一些额外的处理。 groupby 实际上给你的是迭代：

i = groupby(xrange(12), lambda v: v / 3)
print str(i.next())

上面的打印： (0,)

所以这个想法是在你的程序中你会说key, valueiter = i.next()，测试key，然后将valueiter传递给正确的处理函数/方法。

那么这里有什么价值呢？好吧，您不必继续测试处理函数中的键来判断何时停止。 groupby 会自动为您停止每个“子迭代器”。

与 SQL 中的 GROUP BY 子句不同，groupby 不做的事情是确保处理原始可迭代中具有相同键值的所有内容立刻。键值可以在 groupby 之外重复。这是合理的，因为目标是保留原始序列的顺序，而不是在内存中累积所有内容。例如：

i = groupby(xrange(6), lambda v: v % 3)  # note: modulo division
results = [(x[0], list(x[1])) for x in i]
print str(results)

以上打印：[(0, [0]), (1, [1]), (2, [2]), (0, [3]), (1, [4]) ，(2，[5])]。键值重复，每个子迭代器仅生成一个数据。就性能而言，这是 groupby 的最坏情况，这意味着您在使用此工具时必须遵循特定模型。

因此，这样的事情：

i = groupby(xrange(12), lambda v: v / 3)
results = dict([(x[0], list(x[1])) for x in i])  # beware of dict() here!
print str(results)

只有当您先验知道您的键值将永远重复时，才是正确的。

Answer 3

您的两个 groupby 示例的完成方式完全相同，除了您选择的 key

from itertools import groupby
from operator import attrgetter

for key, rows in groupby(cursor, key=attrgetter('ROAD_TYPE')):
    for row in rows:
        print row.ROAD_TYPE
    print

for key, rows in groupby(cursor, key=attrgetter('ROAD_TYPE', 'OTHER_COLUMN')):
    for row in rows:
        print row.ROAD_TYPE, row.OTHER_COLUMN
    print

在这两种情况下 key 都将是 attrgetter() 的结果，但您实际上并不需要它，因为您将迭代按该键分组的行。当然，如果 cursor 按分组所依据的相同键排序，则这一切都可以正常工作。