与常规 Python 列表相比，NumPy 有何优势？

Question

与常规 Python 列表相比，NumPy 有何优势？

我有大约 100 个金融市场系列，我将创建一个 100x100x100 = 100 万个单元的立方体数组。 我将对每个 x 与每个 y 和 z 进行回归（3 变量），以用标准误差填充数组。

我听说对于“大型矩阵”，出于性能和可扩展性的原因，我应该使用 NumPy 而不是 Python 列表。 事实是，我知道 Python 列表，而且它们似乎对我有用。

如果我迁移到 NumPy 会有什么好处？

如果我有 1000 个系列（即立方体中有 10 亿个浮点单元）怎么办？

Answer 1

NumPy 的数组比 Python 列表更紧凑——您在 Python 中描述的列表列表至少需要 20 MB 左右，而单元格中具有单精度浮点数的 NumPy 3D 数组将适合 4 MB。 使用 NumPy 读取和写入项目的访问速度也更快。

也许您对一百万个单元并不太关心，但对十亿个单元肯定会关心——这两种方法都不适合 32 位架构，但在 64 位构建中，NumPy 会占用 4 GB 左右的内存，仅 Python 就需要至少约 12 GB（大量指针，大小加倍）——这是一个昂贵得多的硬件！

差异主要是由于“间接性”——Python 列表是指向 Python 对象的指针数组，每个指针至少有 4 个字节，加上最小的 Python 对象也有 16 个字节（4 个用于类型指针，4 个用于引用计数，4值——内存分配器向上舍入为 16）。 NumPy 数组是统一值的数组——单精度数字每个占用 4 个字节，双精度数字每个占用 8 个字节。 不太灵活，但是您为标准 Python 列表的灵活性付出了巨大的代价！

Answer 2

NumPy 不仅更高效，而且更高效。 也比较方便。 您可以免费获得大量向量和矩阵运算，这有时可以避免不必要的工作。 而且它们也得到了有效的实施。

例如，您可以直接从文件将立方体读入数组：

x = numpy.fromfile(file=open("data"), dtype=float).reshape((100, 100, 100))

沿第二个维度求和：

s = x.sum(axis=1)

查找哪些单元格高于阈值：

(x > 0.5).nonzero()

沿第三个维度删除每个偶数索引切片：

x[:, :, ::2]

此外，许多有用的库都使用 NumPy 数组。 例如，统计分析和可视化库。

即使你没有性能问题，学习 NumPy 也是值得的。

Answer 3

Alex提到了内存效率，Roberto提到了便利性，这些都是优点。 对于更多想法，我将提到速度和功能。

功能：您可以使用 NumPy、FFT、卷积、快速搜索、基本统计、线性代数、直方图等内置很多功能。实际上，谁可以没有 FFT？

速度：这是对列表和 NumPy 数组进行求和的测试，显示 NumPy 数组上的求和速度快了 10 倍（在此测试中 - 里程可能会有所不同）。

from numpy import arange
from timeit import Timer

Nelements = 10000
Ntimeits = 10000

x = arange(Nelements)
y = range(Nelements)

t_numpy = Timer("x.sum()", "from __main__ import x")
t_list = Timer("sum(y)", "from __main__ import y")
print("numpy: %.3e" % (t_numpy.timeit(Ntimeits)/Ntimeits,))
print("list:  %.3e" % (t_list.timeit(Ntimeits)/Ntimeits,))

在我的系统上（当我运行备份时）给出：

numpy: 3.004e-05
list:  5.363e-04

Answer 4

这是来自 scipy.org 网站：

NumPy 数组相对于（嵌套）Python 列表有什么优势？

Python 的列表是高效的通用容器。 他们支持
（相当）高效的插入、删除、附加和串联，
Python 的列表推导式使它们易于构建和
操纵。 然而，它们有一定的局限性：它们不支持
“向量化”运算，例如元素加法和乘法，
它们可以包含不同类型的对象这一事实意味着
Python 必须存储每个元素的类型信息，并且必须
对每个元素进行操作时执行类型分派代码。 这
也意味着很少的列表操作可以通过
高效的 C 循环 – 每次迭代都需要类型检查和其他
Python API 簿记。

Answer 5

所有内容都强调了 numpy 数组和 python 列表之间的几乎所有主要差异，我将在这里简要介绍它们：

1. Numpy 数组在创建时具有固定大小，这与 python 列表（可以动态增长）不同。 更改 ndarray 的大小将创建一个新数组并删除原始数组。

2. Numpy 数组中的元素都必须具有相同的数据类型（我们也可以具有异构类型，但这不允许您进行数学运算），因此在内存中的大小相同

3. Numpy 数组促进了对大量数据的数学和其他类型运算的进步。 通常，与使用序列中内置的 Python 相比，此类操作的执行效率更高，代码更少

Answer 6

Python 中标准的可变多元素容器是列表。 由于Python的动态类型，我们甚至可以创建异构列表。 为了允许这些灵活的类型，列表中的每个项目必须包含自己的类型信息、引用计数和其他信息。 也就是说，每一项都是一个完整的Python对象。
在所有变量都属于同一类型的特殊情况下，大部分信息都是多余的； 将数据存储在固定类型数组（NumPy 样式）中会更有效。
固定类型的 NumPy 样式数组缺乏这种灵活性，但存储和操作数据的效率要高得多。

Answer 7

• NumPy 不是另一种编程语言，而是 Python 扩展模块。 它提供了对同质数据数组的快速高效的操作。
  Numpy 具有固定的创建大小。
• 在 Python 中：列表用方括号书写。
  这些列表可以是同构的，也可以是异质的。
• 与 Python 列表相比，使用 Numpy 数组的主要优点：
  1. 消耗的内存更少。
  2. 与 python List 相比速度更快。
  3. 使用方便。