数百/数千个 tcp 套接字对于 memcached 是否合理？

Question

我正在使用 Merb::Cache 来存储 txt/xml，并且注意到我让 merbs 运行的时间越长，我打开的打开的 TCP 套接字数量就越大——我相信这会导致一些主要的性能问题。

lsof | grep 11211 | wc -l
494

merb      27206       root   71u     IPv4   13759908                 TCP localhost.localdomain:59756->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   72u     IPv4   13759969                 TCP localhost.localdomain:59779->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   73u     IPv4   13760039                 TCP localhost.localdomain:59805->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   74u     IPv4   13760052                 TCP localhost.localdomain:59810->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   75u     IPv4   13760135                 TCP localhost.localdomain:59841->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   76u     IPv4   13760823                 TCP localhost.localdomain:59866->localhost.localdomain:11211 (ESTABLISHED)
merb      27206       root   77u     IPv4   13760951                 TCP localhost.localdomain:52095->localhost.localdomain:11211 (ESTABLISHED)

等等...

我的相关代码是：

    if !exists?(:memcached) then
      register(:memcached, Merb::Cache::MemcachedStore, :namespace => 'mynamespace', :servers => ['127.0.0.1:11211'])
    end

&&

    when :xml
      unless @hand_xml = Merb::Cache[:memcached].read("/hands/#{@hand.id}.xml")
        @hand_xml = display(@hand)
        Merb::Cache[:memcached].write("/hands/#{@hand.id}.xml", @hand_xml)
      end
      return @hand_xml

这段代码是直接错误的还是我使用了错误版本的内存缓存？

我有memcached 1.2.8 并具有以下内容：

libmemcached-0.25.14.tar.gz memcached-0.13.gem

这有点让我发疯..

Answer 1

k 我想出了一些东西..

1）假设您使用的是利用 epoll 或其他东西的库，那么将数百/数千个套接字连接到 memcached 是合理的 - 但是，如果您像我一样使用 ruby​​，我不知道有一个库使用了 select() 或 poll() 之外的其他东西——因此这引发了这个问题/想立即退出

2) 如果你像我一样，你现在只有 1 个 memcached 服务器正在运行和几个杂种/ Thins 四处运行以处理请求..因此您的内存缓存连接应该有问题。 不超过你运行的杂种/稀有的数量（假设你只缓存 1 或两组东西）——这是我的情况，

这里是修复：

通过 memcached gem 设置 memcache，而不是 merb::cache （实际上包装无论你使用什么memcache lib，

MMCACHE = Memcached.new("localhost:11211")

/设置你的值：

  @cache = MMCACHE.clone
  begin
    @hand_xml = @cache.get("/hands/#{@hand.id}.xml")
  rescue
    @hand_xml = display(@hand)
    @cache.set("/hands/#{@hand.id}.xml", @hand_xml)
  end
  @cache.quit

坐下来喝一杯冷饮，因为当你这样做时：

lsof | grep 11211 | wc -l

你会看到像2或3这样的东西，而不是2036！

获取 连接首先要持久

Answer 2

我也许能帮忙，但我需要讲一个故事才能做到这一点。 这里是。

曾几何时，有一个由 10 个 apache(ssl) 服务器组成的集群，每个服务器配置正好有 100 个线程。 还有一个由 10 台 memcached 服务器组成的集群（位于同一台机器上），它们似乎都平静地生活着。 apache 和 memcached 都受到邪恶的 monit 守护进程的保护。然后

国王安装了第 11 个 apache(ssl) 服务器，memcached 开始每隔几个小时随机重新启动一次！ 国王开始调查，他发现了什么？ php memcache 模块文档中有一个错误，指出 memcache 连接对象的默认构造函数是不持久化的，但显然它是持久化的。 发生的情况是，每个 php 线程（大约有 1000 个）在需要时都会打开与池中每个 memcached 的连接，并且它会保留该连接。 每个 memcached 服务器都有 10*100 个连接，这很好，但是对于 11 个服务器，连接数为 1100，并且为 1024<1100。 memcached 的最大打开套接字数为 1024。当所有套接字都被占用时，monit 守护进程无法连接，因此他重新启动了 memcached。

每个故事都必须有一个寓意。 那么，国王对这一切做了什么呢？ 他禁用了持久连接，他们从此过上了幸福的生活，集群上的连接数量达到了峰值 5（五）。 这些服务器正在提供大量数据，因此我们无法拥有 1000 个备用套接字，而且根据每个请求协商内存缓存连接会更便宜。

抱歉，我不了解 ruby​​，看起来您的线程数量非常多，或者您缓存错误。

祝你好运！