更改 tabular.tabarray 或 numpy.recarray 的数据类型 (dtype)

Question

我想用 Python 中的电子表格来表示数据。心想“好吧，肯定有人写了这样的模块！”我去了 PyPI，在那里我发现了 Tabular，它用强大的数据操作函数包装了 NumPy 的重新排列。伟大的！遗憾的是，当涉及到字符串时，它似乎根本不像电子表格。

>>> import tabular as tb
>>> t = tb.tabarray(records=[('bork', 1, 3.5), ('stork', 2, -4.0)], names=['a','b','c'])
>>> t
tabarray([('bork', 1, 3.5), ('stork', 2, -4.0)], 
      dtype=[('a', '|S5'), ('b', '<i8'), ('c', '<f8')])
>>> t['a'][0] = 'gorkalork, but not mork'
>>> t
tabarray([('gorka', 1, 3.5), ('stork', 2, -4.0)], 
      dtype=[('a', '|S5'), ('b', '<i8'), ('c', '<f8')])

嗯...tabarray！你在那里截断了我的字符串！真的吗？！ NumPy dtype '|S5' 表示是一个包含 5 个或更少字符的字符串，但是来吧！更新数据类型。如果需要，重新格式化整个列。任何。但不要默默地丢弃我的数据！

我尝试了其他几种方法，但没有一种能解决问题。例如，它在创建 tabarray 时直观地知道数据类型/大小，但在添加记录时则不然：

>>> t.addrecords(('mushapushalussh', 3, 4.44))
tabarray([('gorka', 1, 3.5), ('stork', 2, -4.0), ('musha', 3, 4.44)], 
      dtype=[('a', '|S5'), ('b', '<i8'), ('c', '<f8')])

我尝试切出整个列，更改其类型，设置值并重新分配它：

>>> firstcol_long = firstcol.astype('|S15')
>>> firstcol_long
tabarray(['gorka', 'stork'], 
      dtype='|S15')
>>> firstcol_long[0] = 'morkapork'
>>> firstcol_long
tabarray(['morkapork', 'stork'], 
      dtype='|S15')
>>> t['a'] = firstcol_long
>>> t
tabarray([('morka', 1, 3.5), ('stork', 2, -4.0)], 
      dtype=[('a', '|S5'), ('b', '<i8'), ('c', '<f8')])
>>> 

它正确地进行了值分配，但原始数据类型仍然有效，我之前正确的数据再次被默默地截断。我什至尝试了显式数据类型设置：

>>> t = tb.tabarray(records=[('bork', 1, 3.5), ('stork', 2, -4.0)], dtype=[('a', str),('b', int),('c', float)])
>>> t
tabarray([('', 1, 3.5), ('', 2, -4.0)], 
      dtype=[('a', '|S0'), ('b', '<i8'), ('c', '<f8')])

天哪！那就更糟了！它正确映射了 int 和 float 类型，但它猜测 str 意味着我想要 0 长度的字符串，并将所有数据截断为空。长话短说，表格不仅不像开箱即用的电子表格，而且我找不到让它工作的方法。性能对我来说不是一个大问题。我的电子表格最多可能有数百或数千行，我很乐意让系统进行一些数据复制以使我的代码变得简单。表格在许多其他方面似乎都非常符合要求。

我想我可以将 tabular 子类化，将所有字符串默认为大得不可思议（比如 1024 或 4096 字节），并使用 __setitem__ 方法在分配更大的字符串时引发异常。相当草率......但是有更好的选择吗？我扎根于 numpy.recarray 等，但没有看到明确的方法......但我将是第一个承认我对 NumPy 完全不专业的人。现实情况是，数据操作程序可能会增加字符串的长度超过其初始最大值。当然，高性能模块应该能够满足这一点。 “只是截断它！” 1974 年面向记录的数据库中常见的方法不可能成为 2011 年 Python 的最佳技术！

想法和建议？

Answer 1

作为表格的设计者之一......我不得不说，我很大程度上认为第一个回答者有点击中要害。

OP，您所谴责的“截断”行为是 Tabular 所基于的 NumPy 的一个基本问题。但说这是一个应该修复的“错误”并不准确，它更像是一个“限制”，呼应/强化了 NumPy（和 Tabular）的整个要点。

正如第一个回答者指出的那样，NumPy 对数据结构的大小有统一的绝对要求。一旦分配给定数据类型的 numpy 数组，该数组必须保持该数据类型 - 否则，必须初始化具有新内存的新数组。对于字符串数据类型，字符串的长度是数据类型不可或缺的固定部分——您不能只是将长度为 N 的字符串数组“转换”为长度为 M 的字符串数组。

固定数据类型对于 NumPy 相对于标准 Python 对象实现巨大性能提升至关重要。这是因为，对于固定数据类型，NumPy 对象知道已为每个对象分配了多少字节，并且可以在内存空间中“跳转”到给定条目“应该”所在的位置，而无需读取和处理该内容所有中间条目，与 Python 列表不同。当然，这限制了自然可以成为 numpy 数组的对象类型……或者实际上，它限制了可以对 numpy 数组执行的操作类型。与完全可变的 Python 列表不同（例如，您可以用任何其他 Python 对象替换任何元素，而不会干扰列表中所有其他对象的内存分配），您不能将 numpy 数组的值变异为 a 的对象不同的数据类型——因为那么字节计数将如何工作？如果突然第 N 个项目变得比数组中的所有其他项目都大，那么所有剩余项目的数据/位置会发生什么？

您可能不喜欢 NumPy 的默认行为，即当您尝试进行破坏数据类型的“非法”赋值时会发生什么情况 - 也许您希望发出错误而不是静默截断？如果是这样，您应该在 NumPy 列表上发布有关此问题的信息，因为我认为这是一个比 Tabular 可以处理的更基本的问题 - 并且无论我们个人对错误处理的感受如何，我们都希望与 NumPy 在这里所做的任何事情保持一致。

您可能也不喜欢 Tabular 进行数据类型推断的方式。事实上，NumPy 远离数据类型推断，并且基本上总是要求用户显式指定数据类型。这很好，因为它要求用户考虑这些问题，但它很烦人，因为它有时非常麻烦。 Tabular 试图找到大多数时候有用的折衷办法，但有时会失败——在这种情况下，只需指定与 NumPy 构造函数相同的关键字参数即可覆盖默认值。

我确实认为，当您说“1974 年面向记录的数据库中常见的方法不可能是 2011 年 Python 的最新技术”时，您并不太正确。事实上，NumPy 内存管理的基础确实与 1970 年代使用的工具完全相同 - 这可能令人惊讶，但优化的 NumPy 的大部分仍然构建在 Fortran 上！尽管 NumPy 在大多数情况下确实提供了更干净、更简单的界面，但当时的内存分配问题实际上仍然无法避免。但必须说的是，如果您“很高兴让系统进行一些数据复制以使我的代码变得简单”——那么 NumPy 和 Tabular 可能不适合您，因为静默数据复制及其代表的所有内容都是明确的与这些包的设计意图背道而驰。

所以问题就变成了：你的目标是什么？如果您确实需要类似数组操作的性能，那么可以使用 NumPy——在这种情况下，Tabular 提供类似电子表格的操作——但存在 NumPy 的限制。如果您不需要性能，那么一开始就没有必要使用类似数组的对象，您可以更加灵活。然而，Tabular 类似电子表格的操作并没有扩展到一般的 Python 对象——甚至还不清楚如何进行这种扩展。

而且，让我再添加一件事（非常重要）——OP，如果性能不是您的主要问题，但您仍然想使用 Tabular 作为电子表格操作的来源，您可以执行您想要的所有操作通过对表格数组构造函数的新调用来更改数据类型。也就是说，如果在给定的操作中您可能需要对新的更大的字符串数据类型进行赋值，则只需每次构造一个新的 Tabarray 即可。这显然对性能不太好，如果这不是你的限制，那么应该没问题。

这里的关键点是 Tabular 和 NumPy 为什么是“快”或“慢”设定了某些标准——然后，迫使您明确哪些操作会很慢。它们绝不允许您在幕后隐藏（就像 Matlab 那样）非常缓慢的操作。语法上简单的事情应该很快——如果你想做一些会很慢的事情，你应该在代码中更加努力地工作才能做到这一点，因此要注意正在发生的事情。因此，您的代码最终会变得更干净、更好，但仍然比直接使用 C 或 Fortran 更容易编写。事实上，这个原则在很大程度上也适用于 Python 本身——尽管对于“快”或“慢”的标准有些不同。

哈特哈，
D

Answer 2

我并不是想在这里表现得无礼，但你误解了 numpy 是什么。

你不想要numpy。你想要一个dict。

Numpy 数组不是通用数据容器。它们是内存效率统一数据的容器。重点是成为一个低级数据容器，它可以存储基本上没有内存开销的东西（即100个64位浮点数使用800字节内存作为numpy数组。它使用这个内存的两倍一个列表。）

如果你想存储非均匀数据，那么不要使用 numpy 数组。

Python 拥有非常丰富的内置数据结构。在这种情况下，您想要的是字典或列表。