从 python 中具有固定数量元素的集合中非常快速地采样

Question

我需要从固定大小的集合中均匀随机采样一个数字，进行一些计算，然后将新数字放回集合中。 （所需的数字样本非常大）

我尝试将数字存储在列表中并使用 random.choice() 来选择一个元素，删除它，然后附加新元素。但这太慢了！

我正在考虑将数字存储在 numpy 数组中，对索引列表进行采样，并为每个索引执行计算。

• 有没有更快的方法来完成这个过程？

Answer 1

Python 列表在内部实现为数组（如 Java ArrayList、C++ std::vector 等），因此从中间删除元素相对较慢：必须重新索引后续元素。 （参见http://www.laurentluce.com/posts/python-list-implementation/ 了解更多信息。）由于元素的顺序似乎与您无关，我建议您仅使用 random.randint(0, len(L) - 1) 选择一个索引i，然后使用L[i] =calculation(L[i])更新第i元素。

Answer 2

我需要从具有固定值的集合中均匀地随机采样一个数字
大小，进行一些计算，然后将新数字放回集合中。

s = list(someset)           # store the set as a list
while 1:
    i = randrange(len(s))   # choose a random element
    x = s[i]
    y = your_calculation(x) # do some calculation
    s[i] = y                # put the new number back into the set

Answer 3

随机.sample(
集合或列表或 Numpy 数组， Nsample ）
非常快，
但我不清楚你是否想要这样的东西：

import random

Setsize = 10000
Samplesize = 100
Max = 1 << 20
bigset = set( random.sample( xrange(Max), Setsize ))  # initial subset of 0 .. Max

def calc( aset ):
    return set( x + 1 for x in aset )  # << your code here

    # sample, calc a new subset of bigset, add it --
for iter in range(3):
    asample = random.sample( bigset, Samplesize )
    newset = calc( asample )  # new subset of 0 .. Max
    bigset |= newset

你可以使用 Numpy 数组
或 bitarray
而不是 set，但我希望 calc() 中的时间占主导地位。

您的 Setsize 和 Samplesize 大致是多少？