简单 mysql select 查询允许内存大小超过 256mb

Question

编辑：对于以后发现这个问题的人来说，CI 在这种情况下会使用大量内存，因为它会为每一行创建一个对象（使用 result_array() 似乎并没有好多少），所以最好的选择就是使用 PHP 的内置 mysql 函数。如果您使用 MYSQLI，您可以像这样访问连接链接：

$this->db->conn_id

我正在尝试通过命令行运行脚本（测试 cronjob），该脚本所做的事情是无关紧要的，因为它一开始就失败了选择并没有进一步。

我正在使用 Codeigniter 2.0.3。

我的表如下所示：

CREATE TABLE IF NOT EXISTS `graphic_files` (
  `graphic_file_id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `graphic_file_style_id` tinyint(2) unsigned NOT NULL,
  `graphic_file_fm_id` bigint(20) unsigned DEFAULT NULL,
  `graphic_file_config_line` varchar(255) NOT NULL,
  `graphic_file_config_line_hash` varchar(32) NOT NULL,
  `graphic_file_location` varchar(255) DEFAULT NULL,
  `graphic_file_pack_id` int(10) unsigned NOT NULL,
  `graphic_file_enabled` tinyint(1) NOT NULL,
  `graphic_file_alternative` tinyint(1) NOT NULL,
  `graphic_file_version` decimal(4,2) NOT NULL,
  `graphic_file_time_added` int(11) unsigned NOT NULL,
  `graphic_file_time_modified` int(11) unsigned NOT NULL,
  `graphic_file_size` int(11) unsigned NOT NULL,
  PRIMARY KEY (`graphic_file_id`),
  KEY `graphic_file_style_id` (`graphic_file_style_id`),
  KEY `graphic_file_fm_id` (`graphic_file_fm_id`),
  KEY `graphic_file_config_line_hash` (`graphic_file_config_line_hash`),
  KEY `graphic_file_pack_id` (`graphic_file_pack_id`),
  KEY `graphic_file_enabled` (`graphic_file_enabled`),
  KEY `graphic_file_version` (`graphic_file_version`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=240752 ;

有 240,000 行。

我尝试使用此查询选择其中大约 120,000 个：

SELECT * FROM graphic_files WHERE graphic_file_enabled = 0 AND graphic_file_style_id = 5

但我收到允许的内存大小错误，如下所示：

允许的内存大小 268435456 字节已耗尽（尝试分配 92 字节）中 xxx/codeigniter_2.0.3/database/drivers/mysqli/mysqli_result.php 上 第167行

我意识到简单的答案是我内存不足，但这对于简单地执行选择查询来说似乎很荒谬，特别是在允许的内存大小为 256mb 的情况下。

有人可以提出这个原因吗？这可能与 codeigniter 及其构建结果对象的方式有关吗？

Answer 1

好的，假设我们处理的是最低限度（此处仅使用声明的大小），每行数据为 624 字节。这有点轻描淡写，因为许多可变宽度字段需要额外的空间来记录它们的实际大小。鉴于所有这些都将被转换为内部 PHP 样式，我们可能可以在那里添加更多内容（结果作为数组返回，可能是哈希值，具体取决于设置）。但实际上，在一切尘埃落定之后，我们可能会处理每条记录总共近 2kb 的数据。

此外，我们正在处理其中的 120,000 个。 120000 * 2048 = 245760000 字节 = 234.4 MB 数据。
PHP 有它的开销，codeigniter 也是如此。总之，这足以让您突破内存限制。

如果您想更好地估计正在使用多少内存，请继续调高内存使用限制，然后在执行选择查询后，检查 memory_get_usage()。

要减少内存使用量，您可以通过添加额外的 where 子句来减少选择的行数，仅选择必要的列而不是全部列，或者使用 LIMIT 语句。如果您采用 LIMIT 路线，则可以处理所有记录和所有列，但要分块处理。每个 select 语句可以返回有限数量的行，例如 100，但是您可以使每个后续调用从另一个调用停止的地方继续。这样，在给定时间内存中的数据永远不会超过 100 行。

Answer 2

对于大数据，你需要使用mysql资源而不是CI函数

$result = $this->db->query($sql);
$resource = $result->result_id;
while($row = @mysql_fetch_assoc($resource)) {
    // do the magic
}