Linux内存管理和大文件

Question

我从远程服务器获取图像对象，然后尝试使用 API 将它们上传到 Rackspace 的云文件。想知道 a) 如何使这个过程更加高效，b) 假设我需要购买更多内存，完成这项任务需要多少合理的 RAM（当前的开发服务器只有 512MB）。

在执行脚本时，我：

• 查询本地数据库以获取一组 id（大约 1000 个）
• 对于每个 id，查询远程服务器，该服务器返回 10-20 个图像对象，每个图像为 25-30k
• 创建一个云文件容器，基于我的数据库的 id
• 对于从远程服务器返回的每个图像对象，在我的容器中创建一个图像对象，并将图像数据写入该对象
• 使用添加图像的日期时间更新本地数据库中的

行这在一小组 id，但是 100 个（即 700-1k 图像）可能需要 5-10 分钟，超过这个时间的任何东西似乎都会无限期地运行。尝试了以下方法，但收效甚微：

• 使用 php 的 set_timeout 在几分钟后终止脚本，认为这会清除分配给执行的内存，让我可以从上次停下的地方继续工作，并完成较小的部分。 永远不会引发此错误
• 但是，在上传后取消设置包含图像对象的数组键时， （不是

PHP 的内存限制设置为 128MB，运行“tops”命令我发现用户“www-data”消耗了 16% 的内存资源。然而，它不再出现在用户列表中，但我继续看到这一点：

PID  USER      PR   NI VIRT RES  SHR  S %CPU %MEM  TIME+    COMMAND
2400 mysql     20   0  161m 8220 2808 S    0  1.6  11:12.69 mysqld

...但 TIME+ 永远不会改变。我看到仍然有 1 个任务正在运行，但这些值永远不会改变：

Mem:    508272k total,   250616k used,   257656k free,     4340k buffers

对冗长的帖子表示歉意 - 不完全确定什么（如果有的话）是有用的。这不是我的专业领域，所以要抓住一点救命稻草。预先感谢您的帮助。

Answer 1

MySQL 是一个守护进程 - 它会一直运行并驻留在内存中，直到它死亡或被您杀死。 TIME+ 是自上次重新启动以来使用的 cpu 时间。如果它处于空闲状态（%CPU = 0），则 TIME+ 将不会增加，因为没有消耗任何 cpu 时间。

您是否检查过 cloudfiles API 是否正在泄漏某种类型的句柄？您可能会取消设置从服务中检索到的图像对象（服务 -> 您），但 Cloudfiles API 仍然必须将该图像发送回门外（您 -> Rackspace），这可能会在某个地方泄漏。