即使没有对其进行添加、更新或删除操作，Lucene 索引文件也会不断变化

Question

我注意到，即使我不执行任何添加，更新或删除操作，我的Lucene索引段文件（文件名）也总是在不断变化。我执行的唯一操作是阅读和搜索。因此，我的问题是，Lucene索引段文件是否仅通过阅读和搜索操作就可以内部更新？

如果这很重要，我正在使用Lucene.net v4.8 beta。谢谢！

这是我如何找到此问题的一个示例（我想获取索引大小）。假设已经存在Lucene索引，我使用以下代码获取索引大小：

示例：

private long GetIndexSize()
        {
            var reader = GetDirectoryReader("validPath");
            long size = 0;

            foreach (var fileName in reader.Directory.ListAll())
            {
                size += reader.Directory.FileLength(fileName);
            }

            return size;
        }

private DirectoryReader GetDirectoryReader(string path)
{
    var directory = FSDirectory.Open(path);
    var reader = DirectoryReader.Open(directory);
    return reader;
}

上述方法每5分钟调用每5分钟。 〜98％的时间正常。但是，其他2％的时间，我会在foreach循环中找到错误文件，在调试后，我看到了中的文件Reader.Directory正在数量变化。该索引在某些时间通过另一个服务更新，但是我可以确保在此错误发生的时间附近的任何地方都不会对索引进行更新。

Answer 1

由于您有多个进程写入/读取同一组文件，因此很难隔离正在发生的情况。 Lucene.NET 做了锁定和异常处理以确保操作可以在进程之间同步，但是如果直接读取目录中的文件而不做任何锁定，则需要准备好处理 IOException 。 。

解决方案取决于您需要索引大小的最新程度：

1. 如果可以有点过时，我建议使用 DirectoryInfo.EnumerateFiles 在目录本身上。这可能比 Directory.ListAll() 更新一些，因为该方法将文件名存储在数组中，在循环完成之前该数组可能会过时。但是，您仍然需要捕获 FileNotFoundException 并忽略它，并可能处理其他 IOException。
2. 如果您需要大小绝对是最新的，并且计划执行需要索引为该大小的操作，则需要打开写锁以防止在获取值时文件发生更改。

---

private long GetIndexSize()
{
    // DirectoryReader is superfluous for this example. Also,
    // using a MMapDirectory (which DirectoryReader.Open() may return)
    // will use more RAM than simply using SimpleFSDirectory.
    var directory = new SimpleFSDirectory("validPath");
    long size = 0;

    // NOTE: The lock will stay active until this is disposed,
    // so if you have any follow-on actions to perform, the lock
    // should be obtained before calling this method and disposed
    // after you have completed all of your operations.
    using Lock writeLock = directory.MakeLock(IndexWriter.WRITE_LOCK_NAME);

    // Obtain exclusive write access to the directory
    if (!writeLock.Obtain(/* optional timeout */))
    {
         // timeout failed, either throw an exception or retry...
    }

    foreach (var fileName in directory.ListAll())
    {
        size += directory.FileLength(fileName);
    }

    return size;
}

当然，如果您走这条路，您的 IndexWriter 可能会抛出 LockObtainFailedException ，您应该准备好在写入过程中处理它们。

无论您如何处理它，您都需要捕获和处理异常，因为 IO 本质上有很多可能出错的地方。但具体如何处理它取决于您的优先事项。

原始答案

如果您打开了一个 IndexWriter 实例，Lucene.NET 将运行一个后台进程来根据所使用的 MergePolicy 合并段。默认设置可用于大多数应用程序。

但是，可以通过 IndexWriterConfig.MergePolicy 属性。默认情况下，它使用TieredMergePolicy。

var config = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer)
{
    MergePolicy = new TieredMergePolicy()
};

有 几个属性位于 TieredMergePolicy 上，可用于更改用于合并的阈值。

或者，可以将其更改为不同的 MergePolicy 实现。 Lucene.NET 附带：

• LogByteSizeMergePolicy
• LogDocMergePolicy
• NoMergePolicy
• 分层合并策略
• UpgradeIndexMergePolicy
• SortingMergePolicy

NoMergePolicy 类可用于完全禁用合并。

如果您的应用程序永远不需要向索引添加文档（例如，如果索引是作为应用程序部署的一部分构建的），则也可以使用 IndexReader >Directory 直接实例，不进行任何后台段合并。

还可以使用 IndexWriterConfig.MergeScheduler 属性。默认情况下，它使用ConcurrentMergeScheduler。

var config = new IndexWriterConfig(LuceneVersion.LUCENE_48, analyzer)
{
    MergePolicy = new TieredMergePolicy(),
    MergeScheduler = new ConcurrentMergeScheduler()
};

Lucene.NET 4.8.0 附带的合并调度程序为：

• ConcurrentMergeScheduler
• NoMergeScheduler
• SerialMergeScheduler

NoMergeScheduler 类可用于完全禁用合并。这与使用 NoMergePolicy 具有相同的效果，但也会阻止执行任何调度代码。