对文件进行分区以进行并行下载

Question

我想制作一个多线程下载器（用Python），我需要告诉每个线程从哪里开始以及下载多少字节。为此，我获取远程文件大小并将其除以（例如）2。现在，假设远程文件大小为 5：当我将该数字除以 2 时，得到结果 2。现在我可以开始下载，但我会丢失一个字节（因为 2*2=4，而不是 5）。我无法使用浮点数，因为我无法下载半个字节。例如，我如何除以该数字并获得带有 [2, 3] 的列表？

Answer 1

使用 divmod：

>>> divmod(5, 2)
(2, 1)
>>>

这告诉你，5 除以除以 2 为 2，余数为 1，因此最后一块将是 2 + 1 = 3。

>>> divmod(12345, 6)
(2057, 3)

在这里，您将在 2057 处有 5 个块，在 2057+3 处有最后一个切片。

该算法也适用于除法没有余数的情况：

>>> divmod(12345, 5)
(2469, 0)

在这里，您将在 2469 处有 4 个块，加上 2469+0 处的最后一个切片。

因此，您的块大小可以计算为：

def chunk_sizes(filesize, num_chunks):
    d, r = divmod(filesize, num_chunks)
    result = [d] * num_chunks
    result[-1] += r
    return result

Answer 2

如果你想获得每个块的大小，你可以简单地将除法的余数添加到最后一个元素：

>>> file_size = 11
>>> no_of_chunks = 3
>>> chunks = [file_size / no_of_chunks] * no_of_chunks
>>> chunks[-1] += file_size % no_of_chunks
>>> chunks
[3, 3, 5]

你也可以修改它以将余数分布到所有块中，以便块的大小最多偏差1 :

>>> for i in range(file_size % no_of_chunks):
>>>    chunks[i] += 1
>>> chunks
[4, 4, 3]

Answer 3

最后一个线程的特殊情况——分配它以获取剩余的字节数。