使用neo4j的batchinsert创建52亿条边,创建速度很慢,怎样提高创建速度呢?
使用neo4j-2.1.7社区版本,通过batchinsert工具创建一个包含52亿边的图时,插入速度很慢,已经连续跑了7天了,才创建了16亿条边,机器的内存有256G,磁盘也是使用的1.2T的pcie卡,硬件配置已经蛮不错的了,插入方式也是采用neo4j手册上推荐的batch方法,在插入初期,前10亿边的创建过程中,整体的创建速度还是很快的,后来就非常缓慢了,有使用neo4j做过大量边创建的大神么?求教啊!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
你为node store、property store、relation store分别都分配了多少内存啊?
从导入的数据量上看,关系至少需要160G+的内存;还有,也不知道你有多少节点?以及节点和关系分别具有多少属性;你需要好好评估一下内存是否足够用,如何分配。要尽量减少实体和关系的属性数量,以及属性值的长度,还有就是不要为过多的属性创建索引,只保留必要的属性索引。