SQLAlchemy 和 max_allowed_pa​​cket 问题

Question

由于我的应用程序的性质，我需要支持将大量数据快速插入数据库。使用executemany() 可以提高性能，但有一个警告。例如，MySQL 有一个名为 max_allowed_pa​​cket 的配置参数，如果我的插入查询的总大小超过其值，MySQL 就会抛出错误。

问题#1：有没有办法告诉 SQLAlchemy 将数据包分割成几个较小的数据包？
问题#2：如果其他 RDBS 也有类似的限制，我应该如何解决这些限制？



PS 我之前已经发布过这个问题，但当我错误地认为我可能不会遇到这个问题时，我删除了它。遗憾的是，事实并非如此。

Answer 1

我最近遇到了类似的问题，并使用了 - 不是很优雅 - 解决方法：

• 首先我解析 my.cnf 以获取 max_allow_packets 的值，如果我找不到它，则最大值设置为默认值。
• 所有数据项都存储在一个列表中。
• 接下来，对于每个数据项，我计算大约的字节长度（对于字符串，它是字符串的长度（以字节为单位），对于其他数据类型，我采用过去安全的最大字节数。）
• 我将它们相加，在达到后提交约。 max_allow_packets 的 75%（为了安全起见，SQL 查询也会占用空间）。

这种方法并不是很漂亮，但对我来说却完美无缺。