Apache ignite 并发写入测试

Question

使用Data streamers API对ignite进行并发写入测试，结果发现两台机器同时写入的速度的总和小于单台机器写入的速度，这是为什么呢？如果接入数据量过大，通过增加机器来提高吞吐是不是存在问题？

 

Answer 1

先放到内存中，然后异步的慢慢地 write 磁盘，这个里面有讲解https://www.haoyidaiban.com

Answer 2

如果接入的数据量过大，每天在千亿级，那么ignite是不是不适合作为临时的缓存中心呢（该缓存中心需要持久化能力）？实测中发现，不采用原生持久化时，通过增加机器，写入几乎等于线性增长；但是如果开启持久化后，出现写入总量受限。

Answer 3

回复
写入的快慢是相对的，磁盘肯定比内存慢；分布式没法解决写的问题，只能解决读的问题；用多个主机内存写慢于一个主机内存写，但是容量会扩大很多倍；最后的优化总是通过先写入内存，然后后台一个循环运转的守护进程持续读取内存写入磁盘，这称为异步队列

Answer 4

两个人挤一个桥肯定没有一个人挤一个桥快。吞吐的重点在于 read，不在于 write。 write 吞吐的前提是这些数据允许丢失，然后你就可以先放到内存中，然后异步的慢慢地 write 磁盘

Answer 5

源头的流量就水龙头那么大，大鲨鱼来吞肯定不够吞啊。