为什么 PHP unserialize 会有内存泄露

Question

最近写一个 PHP 服务，PHP 版本为 swoole PHP 环境二进制版 7.x，其中部分逻辑涉及到把 PHP 变量写入到文件中，后续处理的时候读出来，一开始使用 serialize 和 unserialize 实现，但是运行不久就直接超内存了，最后发现是 unserialize 造成的内存泄露

例子:

测试数据: serialize 序列化字符串

[www@chengqm test]$ cat serialize_str 
a:1:{s:4:"test";s:1024:"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111";}

测试数据: json 序列化字符串

[www@chengqm test]$ cat json_str 
{"test":"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111"}

然后是 PHP 代码，分别反序列化这两个文件的内容，前后输出内存使用情况

<?php
echo PHP_EOL;

echo 'before unserialize: ' . memory_get_usage() . PHP_EOL;

$serialize_str = file_get_contents('./serialize_str');
$array = unserialize($serialize_str);
unset($serialize_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

echo PHP_EOL;

echo 'before decode_json: ' . memory_get_usage() . PHP_EOL;

$json_str = file_get_contents('./json_str');
$array = json_decode($serialize_str, True);
unset($json_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

结果

[www@chengqm test]$ php-swoole test.php

before unserialize: 625048
after unset args: 625192

before decode_json: 625192
after unset args: 625192

unserialize 的某部分内存没有释放，json_decode 的已经释放了

问题: 为什么会有部分内存没有释放，是 BUG 还是 PHP 的某项特性

------------------- 问题更新 ---------------------

上面代码写错变量，重新测一下，这次没有读取文件，json_decode 放在前面

<?php

echo PHP_EOL;

echo 'before decode_json: ' . memory_get_usage() . PHP_EOL;

$json_str = '{"test":"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111"}';
$array = json_decode($json_str, True);
unset($json_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

echo PHP_EOL;

echo 'before unserialize: ' . memory_get_usage() . PHP_EOL;

$serialize_str = 'a:1:{s:4:"test";s:1024:"1111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111";}';
$array = unserialize($serialize_str);
unset($serialize_str);
unset($array);

echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

[root@chengqm test]# php-swoole test.php

before decode_json: 627504
after unset args: 627504

before unserialize: 627504
after unset args: 627536

结果发现，unserialize后确实有一点内存没有释放(后来发现，是安装的 PHP 有问题)

然后就是测试 file_get_contents 对内存的影响

<?php

echo PHP_EOL;

echo 'before get file: ' . memory_get_usage() . PHP_EOL;
$serialize_str = file_get_contents('./serialize_str');
unset($serialize_str);
system('sync && echo 3 > /proc/sys/vm/drop_caches');
echo 'after unset args: ' . memory_get_usage() . PHP_EOL;

[root@chengqm test]# php-swoole test.php

before get file: 624304
after unset args: 624416

结果发现, file_get_contents 也会造成内存增长

Answer 1

首先，倒数第四行$array = json_decode($serialize_str, True);似乎是写错了，应该是$array = json_decode($json_str, true);吧。。

然后不知道楼主有没有尝试将json段放在文件前面，将serialize段放在文件后面，这样去执行的话你就会发现似乎是json段执行之后有内存没有释放了。。所以，这里其实不是unserialize造成的内存泄漏。。这边造成有一部分内存被莫名吃掉应该是file_get_contents造成的，楼主单独运行一次file_get_contents就可以验证一下了。。

最后说说楼主遇到的问题：在Linux中，频繁地存取文件会产生大量的文件缓存，这是操作系统的机制，不是PHP的机制，楼主可查看下buff/cache的大小，内存有可能都被cache吃掉了。PHP的GC机制中，自动回收的只有array和obj两类，因为这两类会产生循环引用，造成真正的内存泄漏。而file_get_contents这种不完全归还内存的情况个人猜测（未验证，纯属猜测，轻喷）是内存映射机制造成的小内存碎片没有回收。。

Answer 2

valgrind 跑了下，应该不算是内存泄漏

跑这个也是两次都不一样，第三次就一样了……

<?php
var_dump(memory_get_usage());
var_dump(memory_get_usage());