Zend Lucene 索引时耗尽内存

Question

我正在维护的一个旧站点使用 Zend Lucene (ZF 1.7.2) 作为搜索引擎。我最近添加了两个要索引的新表，总共包含大约 2000 行文本数据，范围在 31 字节到 63kB 之间。

索引工作了几次，但在第三次运行后，由于耗尽了分配的内存，它开始终止并出现致命错误。 PHP 内存限制最初设置为 16M，足以索引所有其他内容，即 200 行文本，每行几千字节。我逐渐将内存限制增加到160M，但仍然不够，而且我无法将其增加得更高。

索引时，我首先需要清除以前索引的结果，因为路径方案包含 Lucene 似乎将其视为停用词的数字，当我运行此搜索时返回每个条目：

$this->index->find('url:/tablename/12345');

清除所有结果后，我将它们一一重新插入

foreach($urls as $v) {
   $doc = new Zend_Search_Lucene_Document();
   $doc->addField(Zend_Search_Lucene_Field::UnStored('content', $v['data']);
   $doc->addField(Zend_Search_Lucene_Field::Text('title', $v['title']);
   $doc->addField(Zend_Search_Lucene_Field::Text('description', $v['description']);
   $doc->addField(Zend_Search_Lucene_Field::Text('url', $v['path']);
   $this->index->addDocument($doc);
}

：大约一千次迭代后，索引器就会耗尽内存并崩溃。奇怪的是，将内存限制加倍只能帮助几十行。

我已经尝试调整 MergeFactor 和 MaxMergeDocs 参数（分别为 5 和 100 的值）并每 100 行调用 $this->index->​​optimize() 但两者都没有提供一致的帮助。

清除整个搜索索引并重建它似乎在大多数情况下都会成功建立索引，但我更喜欢更优雅且 CPU 密集度较低的解决方案。我做错了什么吗？索引占用这么多内存正常吗？

Answer 1

我有一个类似的问题，我必须维护一个至少有三种不同语言的网站，并且必须分别为每个不同的语言环境重新索引相同的 10'000+（并且不断增长）本地化文档（每个都使用自己的本地化搜索引擎） ）。可以说，它通常在第二遍内失败。

我们最终实现了一个基于 Ajax 的重新索引过程，该过程第一次调用脚本来初始化并开始重新索引。该脚本在处理完预定数量的文档后中止，并返回一个 JSON 值，指示它是否已完成，以及其他进度信息。然后，我们使用进度变量再次重新调用相同的脚本，直到脚本返回完成状态。

这还允许管理区域有一个进程进度条。

对于 cron 作业，我们只是制作了一个 bash 脚本来执行相同的任务，但带有退出代码。

这已经是大约 3 年前的事了，从那以后就没有出现过任何问题。