当前位置：文江博客话题详情

获取 riak 存储桶中密钥计数的优化方法是什么？

发布于 2024-12-17 12:42:43 字数 197 浏览 1 评论 0原文

我有一个包含 3 台服务器的 riak 集群。我可以查看 bitcask 来确定该集群当前使用了多少磁盘空间，但我还想了解集群中当前存储了多少项目。

该集群用于存储图像，这意味着二进制数据是根据一组存储桶中的键存储的。我尝试对 HTTP 接口使用映射归约函数，以返回存储桶中的项目数，但它们已超时。

从特定存储桶中获取键数量的最时间优化方法是什么？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

反目相谮 2024-12-24 12:42:44

即使使用 MapReduce 函数，计算 Riak 集群上存储桶中键的数量也不是很有效。

我发现计算项目数量的最有效方法是通过流 API 在客户端上进行计算。以下示例使用 Node-js 来执行此操作。

首先安装 riak-js 客户端，

npm install riak-js@latest

然后在命令行上运行以下命令以获取计数。

node -e "require('riak-js').getClient({ host: 'hostname', port: 8098 }).count('bucket');"

Counting the number of keys in a bucket on the Riak cluster is not very efficient, even with the use of the MapReduce functions.

The most efficient way I have found to count the number of items is to do it on the client through the streaming API. The following example uses node-js to do this.

First install the riak-js client

npm install riak-js@latest

Then run the following on the command line to give you your count.

node -e "require('riak-js').getClient({ host: 'hostname', port: 8098 }).count('bucket');"

回复收藏 0 原文

伪心 2024-12-24 12:42:44

这对我有用 - 将其放入控制台，无需进一步安装：

curl -XPOST http://localhost:8098/mapred -H 'Content-Type: application/json' -d '
{"inputs":"THE_BUKET",
 "query":[{"map":{"language":"javascript",
                  "keep":false,
                  "source":"function(riakobj) {return [1]; }"}},
          {"reduce":{"language":"javascript",
                     "keep":true,
                     "name":"Riak.reduceSum"}}]}'

Here is what worked for me - put it into console, no further installs:

curl -XPOST http://localhost:8098/mapred -H 'Content-Type: application/json' -d '
{"inputs":"THE_BUKET",
 "query":[{"map":{"language":"javascript",
                  "keep":false,
                  "source":"function(riakobj) {return [1]; }"}},
          {"reduce":{"language":"javascript",
                     "keep":true,
                     "name":"Riak.reduceSum"}}]}'

回复收藏 0 原文

如梦 2024-12-24 12:42:44

features.basho.com 上也有一个开放请求，以使这变得更容易（因为，正如 bennettweb 指出的那样，这不是最简单的任务）。

http://features.basho.com/entries/20721603 -高效计数桶中的密钥

鼓励点赞、评论等。

标记

回复收藏 0 原文

一身骄傲 2024-12-24 12:42:44

http://docs.basho.com/riak/latest/dev/using/ 2i/

段落“通过$bucket Index对Bucket对象进行计数”

$ curl -XPOST http://localhost:8098/mapred
  -H 'Content-Type: application/json'
  -d '{"inputs":{
           "bucket":"mybucket",
           "index":"$bucket",
           "key":"mybucket"
       },
       "query":[{"reduce":{"language":"erlang",
                           "module":"riak_kv_mapreduce",
                           "function":"reduce_count_inputs",
                           "arg":{"reduce_phase_batch_size":1000}
                          }
               }]
       }'
EOF

reduce索引优于mapreduce数据

http://docs.basho.com/riak/latest/dev/using/2i/

paragraph "Count Bucket Objects via $bucket Index"

$ curl -XPOST http://localhost:8098/mapred
  -H 'Content-Type: application/json'
  -d '{"inputs":{
           "bucket":"mybucket",
           "index":"$bucket",
           "key":"mybucket"
       },
       "query":[{"reduce":{"language":"erlang",
                           "module":"riak_kv_mapreduce",
                           "function":"reduce_count_inputs",
                           "arg":{"reduce_phase_batch_size":1000}
                          }
               }]
       }'
EOF

reduce index is better than mapreduce data

回复收藏 0 原文

~没有更多了~