如何使用 python-memcache 从 memcached 导出所有键和值？

Question

我想使用 python-memcache 从 memcached 服务器导出所有键和值。 该模块中没有这样的功能。那该怎么办呢？

也许需要一些涉及“套接字”模块的更复杂的东西。

Answer 1

这将为您提供 memcached 服务器上的所有键，您可以使用任何 memcached 客户端库来获取每个键的值。

import telnetlib

def get_all_memcached_keys(host='127.0.0.1', port=11211):
    t = telnetlib.Telnet(host, port)
    t.write('stats items STAT items:0:number 0 END\n')
    items = t.read_until('END').split('\r\n')
    keys = set()
    for item in items:
        parts = item.split(':')
        if not len(parts) >= 3:
            continue
        slab = parts[1]
        t.write('stats cachedump {} 200000 ITEM views.decorators.cache.cache_header..cc7d9 [6 b; 1256056128 s] END\n'.format(slab))
        cachelines = t.read_until('END').split('\r\n')
        for line in cachelines:
            parts = line.split(' ')
            if not len(parts) >= 3:
                continue
            keys.add(parts[1])
    t.close()
    return keys

Answer 2

使用 memdump 和 memcat 来自 libmemcached 套件的实用程序。他们不能保证您会获得所有数据，但它们很容易使用。

注意：在 ubuntu/debian 上，您可以通过安装 libmemcached-tools 软件包来获取这些工具，它们称为 memcdump 和 memccat.

转储所有键：

memcdump --servers=localhost

转储所有值：

memccat --servers=localhost `memcdump --servers=localhost`

当然，您仍然必须匹配键和值 - 我建议将键转储到文件中，然后将其用作 memcat 的输入（这确保一致性）。然后，当然您需要拆分值 - 我相信句号是分隔符 - 然后按顺序将键和值配对。可能某个地方有一个脚本...

Answer 3

没有办法做到这一点。 Memcache 协议 没有定义任何迭代键的命令。您必须知道检索值的密钥。

Answer 4

最简单的方法是使用 python-memcached-stats 包， https://github.com/abstatic /python-memcached-stats

keys() 方法应该可以帮助你。

Answer 5

正如其他人在很多地方提到的，在一般情况下，没有办法列出存储在 memcached 实例中的所有键。例如，Memcached：列出所有密钥，无法通过 telnet 客户端检索所有 memcache 密钥

但是，您可以，列出类似于前 1Meg 密钥的内容，这通常足以了解开发过程中 memcache 服务器中存储的内容。基本上，您可以有两种选择从 memcache 服务器提取项目：

(1) 要检索键和值的子集，您可以使用上面介绍的方法使用 @lrd

但是，当数据非常大时（例如，数百万条记录） ），这种方法可能非常耗时。更重要的是，此方法只能检索键和键的子集。价值观。

(2) 如果您想要迭代 memcached 服务器的所有项目，则在向 memcache 服务器添加/设置/cas 项目时记录密钥是一种更便宜的解决方案。然后您可以读取日志文件以获取所有键并从 memcache 服务器获取值。正如此邮件列表中所述：列出 memcached 中的所有对象

Answer 6

在 Bash 中，此脚本可能会有所帮助：

while read -r key; do
    memccat --servers=localhost $key > "$key.dump";
done < <(memcdump --server localhost)

您还可以直接连接到端口并发送 get SOME-KEY 命令（使用 Netcat 的示例：echo "，而不是 memccat）获取 $key" | nc localhost 11211)。

相关：

• 获取memcached中设置的所有密钥
• 查看memcached的内容

Answer 7

您正在寻找“flush_all”memcache 命令：http://code.google .com/p/memcached/wiki/NewCommands#flush_all

使用 python-memcached，它看起来像这样：

>>> import memcache
>>> c = memcache.Client(('127.0.0.1:11211',))
>>> c.flush_all()