需要 riak-js 帮助

Question

我是 node.js 和 riak 的新手，正在尝试使用 riak-js。我编写了以下 coffeescript，用整数 1 的平方创建 N 个条目。 N。该脚本适用于 N=10。如果我在 db.get() 中放置一个 console.log() 回调，我可以打印 1..10 的平方。

db = require('riak-js').getClient({debug:false})

N = 10

for i in [1..N]
 db.save('Square', String(i), String(i*i))

for i in [1..N]
 db.get('Square', String(i))

我的问题是，当我设置 N=1000 时，我的脚本需要大约 10 秒才能完成。这是正常的吗？我期待着不到 1 秒的事情。我的本地计算机上有一个 riak 节点，Acer Aspire 5740，i3 CPU 和 4GB RAM，运行 Ubuntu 10.04。对于仅 RAM 存储，我已将 $RIAK/rel/riak/etc/app.config 中的 storage_backend 设置为 riak_kv_ets_backend。 riak-admin status 命令确认此设置。

问题 1：也许 riak-js 正在为我的存储桶设置一些默认的基于磁盘的后端？我如何找到/覆盖这个？

Q2：我不认为这是一个node.js问题，但是我在异步使用中做错了什么吗？

Answer 1

A1：riak-js 不使用任何隐藏设置，您可以自行配置 Riak 节点。

A2：你的剧本看起来不错，没有做错什么。

事实是我还没有开始进行基准测试或认真考虑性能问题。

也就是说，每个请求都在内部排队并串行发出。它使 API 更简单，并且不会遇到竞争条件，但它有其局限性。理想情况下，我想围绕 riak-js 构建一个包装器，它将负责：

• 持有多个实例以并行发出请求
• 当一个节点发生故障时自动重新连接到集群中的其他节点

您的示例在我的 MBP 上运行约 5 秒（使用 Bitcask） 。

 =>  time coffee test.coffee 

real    0m5.181s
user    0m1.245s
sys 0m0.369s

作为概念证明，请看一下：

dbs = [require('riak-js').getClient({debug: false}), require('riak-js').getClient({debug: false})]

N = 1000

for i in [1..N]
  db = dbs[i % 2]
  db.save('sq', String(i), String(i*i))

for i in [1..N]
  db = dbs[i % 2]
  db.get('sq', String(i))

结果：

 =>  time coffee test.coffee 

real    0m3.341s
user    0m1.133s
sys 0m0.319s

这将通过使用更多客户端访问数据库来改进。

否则答案就是 Protocol Buffers 接口，这是毫无疑问的。我无法用你的例子运行它，所以我必须深入研究它。但这应该快如闪电。

确保您运行的是最新的 Riak（有许多性能改进）。还要考虑 CoffeeScript 编译的一点开销。

Answer 2

这是我的测试文件：

db = require('../lib').getClient({debug:false})

N = if process.argv[2] then process.argv[2] else 10

for i in [1..N]
 db.save('Square', String(i), String(i*i))

for i in [1..N]
 db.get('Square', String(i))

编译后，我得到以下时间：

$ time node test1.js 1000

real 0m3.759s
user 0m0.823s
sys  0m0.421s

运行多次迭代后，无论后端如何，我的时间在该卷上都相似。我测试了 ets 和 det。操作系统将在第一次运行时在特定卷上缓存您的磁盘块，但后续运行速度会更快。

继 Frank06 的回答之后，我还会研究连接处理。这不是 Riak 的问题，而是 riak-js 如何设置其连接的问题。另请注意，在 Riak 中，所有节点都是相同的，因此如果您有一个三节点集群，您将创建到所有三个节点的连接并以某种方式循环它们。 Protobuf api 是可行的方法，但在设置时需要额外小心。