Memcached 并发与 lighttpd php

Question

我遇到了 memcached 的问题。 不确定它是 memcached、php 还是 tcp 套接字，但每次我尝试对带有 memcached 的页面进行 50 或更多并发的基准测试时，其中一些请求使用 apache ab 会失败。 我收到 (99) 无法分配请求的地址错误。

当我对常规 phpinfo() 页面进行 5000 并发测试时。 一切安好。 没有失败的请求。

看来memcached不能支持高并发，还是我遗漏了什么？ 我正在使用 -c 5000 标志运行 memcached。

---

服务器：(2) 四核 Xeon 2.5Ghz、64GB 内存、4TB Raid 10、64 位 OpenSUSE 11.1

Answer 1

好吧，我已经弄清楚了。 也许这会帮助其他有同样问题的人。

看来这个问题可能是多种因素的结合。

1. 将lighttpd.conf中的sever.max-worker设置为更高的数字
   原来：16 现在：32

2. 在lighttpd.conf中关闭keep-alive，它使连接保持打开状态的时间太长。
   server.max-keep-alive-requests = 0

3. 将 ulimit -n 打开文件数更改为更高的数量。
   ulimit -n 65535

4. 如果您使用的是 Linux，请使用：
   server.event-handler = "linux-sysepoll"
   server.network-backend = "linux-sendfile"

5. 增加 max-fds
   server.max-fds = 2048

6. 在回收之前降低tcp TIME_WAIT，这样可以更快地关闭连接。
   在/etc/sysctl.conf中添加：
   net.ipv4.tcp_tw_recycle = 1
   net.ipv4.tcp_fin_timeout = 3

   确保使用以下命令强制重新加载：/sbin/sysctl -p

---

进行更改后，我的服务器现在正在运行 30,000 个并发连接和 1,000,000 个并发请求，没有任何问题、失败的请求或使用 apache ab 写入错误。

用于基准测试的命令： ab -n 1000000 -c 30000 http://localhost/test.php

我的 Apache 可以'甚至无法接近这个基准。 Lighttd 现在让我嘲笑 Apache。 Apache 以 200 左右的并发度爬行。

Answer 2

我仅使用 4 字节整数，将其用作页面计数器以进行测试。 其他 php 页面即使在 5,000 个并发连接和 100,000 个请求下也能正常工作。 该服务器有大量的马力和内存，所以我知道这不是问题。

看起来死掉的页面只有 5 行代码来使用 memcached 测试页面计数器。 建立连接时出现此错误：(99) 无法分配请求的地址。

• 这个问题从 50 个并发连接开始出现。
• 我正在使用 -c 5000 运行 memcached 以实现 5000 个并发。
• 一切都在一台机器上（本地主机）
• 唯一运行的进程是 SSH、Lighttpd、PHP 和 Memcached
• 没有用户连接到此机器（测试机器）
• Linux -nofile 设置为 32000

---

这就是我现在所拥有的一切，我将当我发现更多信息时发布更多信息。 看来有这个问题的人还不少。

Answer 3

我刚刚用文件测试了类似的东西；

$mc = memcache_connect('localhost', 11211);
$visitors = memcache_get($mc, 'visitors') + 1;
memcache_set($mc, 'visitors', $visitors, 0, 30);
echo $visitors;

在带有 nginx、php-fastcgi 和 memcached 的小型虚拟机上运行。

我从同一网络中的笔记本电脑运行 ab -c 250 -t 60 http://testserver/memcache.php ，没有看到任何错误。

您在哪里看到错误？ 在你的 php 错误日志中？

Answer 4

这就是我在 /etc/sysctl.conf 中用于 Nginx/php-fpm 的内容 @ Rackspace 专用服务器与 Memcached/Couchbase/Puppet：

# Memcached 修复

net.ipv4.ip_nonlocal_bind = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 3

我希望它有帮助。