在 python 中计算生成器的平均值

Question

我正在做一些统计工作，我有一个（大）随机数集合来计算平均值，我想使用生成器，因为我只需要计算平均值，所以我不需要存储数字。

问题是，如果将生成器传递给 numpy.mean，它就会中断。我可以编写一个简单的函数来执行我想要的操作，但我想知道是否有适当的内置方法来执行此操作？

如果我可以说“sum(values)/len(values)”，那就太好了，但是 len 对生成器不起作用，并且对已经消耗的值求和。

这是一个例子：

import numpy 

def my_mean(values):
    n = 0
    Sum = 0.0
    try:
        while True:
            Sum += next(values)
            n += 1
    except StopIteration: pass
    return float(Sum)/n

X = [k for k in range(1,7)]
Y = (k for k in range(1,7))

print numpy.mean(X)
print my_mean(Y)

它们都给出了相同的正确答案，buy my_mean 不适用于列表，而 numpy.mean 不适用于生成器。

我真的很喜欢使用生成器的想法，但这样的细节似乎会破坏事情。

Answer 1

一般来说，如果您正在进行浮点数的流式平均计算，那么您可能最好使用数值更稳定的算法，而不是简单地对生成器求和并除以长度。

其中最简单的（据我所知）通常是归功于 Knuth，并且还计算方差。该链接包含一个 python 实现，但为了完整起见，仅将平均部分复制到此处。

def mean(data):
    n = 0
    mean = 0.0
 
    for x in data:
        n += 1
        mean += (x - mean)/n

    if n < 1:
        return float('nan')
    else:
        return mean

我知道这个问题已经很老了，但它仍然是谷歌上的第一个点击，所以发布似乎很合适。我仍然对 python 标准库不包含这段简单的代码感到难过。

Answer 2

只需对代码进行一项简单的更改即可让您同时使用两者。生成器旨在可互换地用于 for 循环中的列表。

def my_mean(values):
    n = 0
    Sum = 0.0
    for v in values:
        Sum += v
        n += 1
    return Sum / n

Answer 3

def my_mean(values):
    total = 0
    for n, v in enumerate(values, 1):
        total += v
    return total / n

print my_mean(X)
print my_mean(Y)

Python 3.4 中有 statistics.mean() 但它调用list( ) 输入上的：

def mean(data):
    if iter(data) is data:
        data = list(data)
    n = len(data)
    if n < 1:
        raise StatisticsError('mean requires at least one data point')
    return _sum(data)/n

其中 _sum() 返回准确的总和 (math.fsum() 类似函数，除了 float 之外还支持 Fraction< /code>，十进制）。

Answer 4

老式的方法来做到这一点：

def my_mean(values):
   sum, n = 0, 0
   for x in values:
      sum += x
      n += 1
   return float(sum)/n

Answer 5

一种方法是

numpy.fromiter(Y, int).mean()

，但这实际上暂时存储了数字。

Answer 6

您的方法是一个很好的方法，但您应该使用 for x in y 习惯用法，而不是重复调用 next 直到获得 StopIteration。这适用于列表和生成器：

def my_mean(values):
    n = 0
    Sum = 0.0

    for value in values:
        Sum += value
        n += 1
    return float(Sum)/n

Answer 7

您可以在不知道数组大小的情况下使用reduce：

from itertools import izip, count
reduce(lambda c,i: (c*(i[1]-1) + float(i[0]))/i[1], izip(values,count(1)),0)

Answer 8

def my_mean(values):
    n = 0
    sum = 0
    for v in values:
        sum += v
        n += 1
    return sum/n

上面的代码与您的代码非常相似，除了使用 for 来迭代 values ，无论您获得列表还是迭代器，您都可以。
然而，python sum 方法非常优化，因此除非列表真的非常长，否则您可能会更乐意暂时存储数据。

（另请注意，由于您使用的是 python3，因此不需要 float(sum)/n）

Answer 9

如果您提前知道生成器的长度并且希望避免将完整列表存储在内存中，您可以使用：

reduce(np.add, generator)/length

Answer 10

尝试：

import itertools

def mean(i):
    (i1, i2) = itertools.tee(i, 2)
    return sum(i1) / sum(1 for _ in i2)

print mean([1,2,3,4,5])

tee将为任何可迭代的i（例如生成器、列表等）复制迭代器，允许您使用一个副本进行求和，另一个进行计数。

（请注意，“tee”仍将使用中间存储）。