当前位置：文江博客话题详情

在 Redis 中存储大量相似项目的随机列表

发布于 2024-10-19 07:01:58 字数 344 浏览 1 评论 0原文

Redis 2.0.3

我需要在 Redis 中存储大量的项目列表。每个项目都是一个短字符串（少于 256 个字符）。

我需要在列表上执行两项操作：

添加许多（几千到一百万）相同的项目。（一天几次）
从列表中随机删除一项。没有必要有“公平”的随机性。任何“足够好”的方法都可以。（每秒最多数百次）

我没有足够的 RAM 来将列表中的所有项目一一存储。

我认为我需要批量存储物品，名称和柜台。（将有多达数千个不同的项目，更像是数百个。）

但我不确定如何有效地组织它。

有什么提示吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

无所谓啦 2024-10-26 07:01:58

好吧，既然没有人愿意帮助我，这里有一个伪代码的“愚蠢”解决方案。

获取随机元素：

函数 Maybe_get_next_item()
  item_name = SRANDMEMBER "项目集"
  item_key = "项目：" + item_name

  new_item_count = DECR（item_key）

  如果 new_item_count <那么 0
    LOCK——如 SETNX 文档中所述
      new_item_count = GET (item_key) -- 当我们锁定时添加更多内容？
      如果 new_item_count 和 new_item_count <那么 0
        SREM (item_name) -- 不，让它过期
      结尾
    开锁
  结尾

  如果 new_item_count 和 new_item_count >= 0 那么
    返回项目名称
  结尾

  返回 false -- 未找到该项目
结尾

函数 get_next_item()
  item_name = Maybe_get_next_item()
  而不是 item_name 且 (SCARD "items-set" > 0) 执行
    item_name = Maybe_get_next_item()
  结尾
  return item_name -- 如果所有项目都已消耗则返回 false
结尾

插入新元素

函数 insert_items(item_name, amount)
  LOCK——如 SETNX 文档中所述
    SADD“项目集”（项目名称）
    INCRBY（“商品：”+商品名称）金额
  开锁
结尾

如果存在，请提出更好的解决方案，我仍在摸索Redis，并且可能会错过一些明显的东西。

我怀疑 insert_items() 中的 LOCK/UNLOCK 可能是多余的，可以用 MULTI/EXEC，但我认为 maybe_get_next_item() 中的 LOCK/UNLOCK 需要它才能正常工作（我确实这样做）不知道如何替换为 MULTI/EXEC)...

Well, since nobody is up to help me, here is a "dumb" solution, in pseudocode.

Get random element:

function maybe_get_next_item()
  item_name = SRANDMEMBER "items-set"
  item_key = "items:" + item_name

  new_item_count = DECR (item_key)

  if new_item_count < 0 then
    LOCK -- As explained in SETNX docs
      new_item_count = GET (item_key) -- More added while we were locking?
      if new_item_count and new_item_count < 0 then
        SREM (item_name) -- No, expire it
      end
    UNLOCK
  end

  if new_item_count and new_item_count >= 0 then
    return item_name
  end

  return false -- this item not found
end

function get_next_item()
  item_name = maybe_get_next_item()
  while not item_name and (SCARD "items-set" > 0) do
    item_name = maybe_get_next_item()
  end
  return item_name -- false if all items are expended
end

Insert new elements

function insert_items(item_name, amount)
  LOCK -- As explained in SETNX docs
    SADD "items-set" (item_name)
    INCRBY ("items:" + item_name) amount
  UNLOCK
end

Please do suggest a better solution if it exists, I'm still groking Redis, and may miss something obvious.

I suspect that LOCK/UNLOCK in insert_items() may be superfluous and can be replaced with MULTI/EXEC, but I think that it is needed for LOCK/UNLOCK in maybe_get_next_item() to work properly (which I do not know how to replace with MULTI/EXEC)...