求助 solr 分批索引

Question

各位大神，由于我数据库中的数据量比较大，不可能一次全部读出来进行索引，所以打算每次读取10000条数据进行索引，问题就是在对第一个10000条数据进行索引后，再对第2个10000条进行索引时，如何在之前的索引的上进行增加而不会覆盖了呢（lucene中用IndexWriterConfig.setOpenMode(OpenMode.APPEND)可以实现这个功能，但不知solr中该如何使用）

Answer 1

因为每一条数据对应了一个本地文件，都要进行索引，所以不能用dataimport功能

Answer 2

你200万的数据是一次性导出来的吗，为什么我10万条的数据（有一个大字段）导出来时，报内存溢出呢，求指教

Answer 3

为什么不用solr的mysql呢，我的200万的数据没多久就完事了，不需要写程序的啊

Answer 4

我就是想知道如何增量呢

Answer 5

回复
他有增量的配置。但是 增量 的前提 是 你数据的 update 时间必须大雨 你第一次 导入的 时间。

Answer 6

@java_大猫 我找到解决方法了，只要主键不一样，就是新增，谢谢你了

Answer 7

SQL 写个分页，前10000条 直接导入。后10000条通过增量导。