使用 MemoryMappedFile 对大型文本文件执行搜索是否有意义？

Question

我的任务是实现一个搜索功能，该功能将搜索几个大型（几 MB）日志文件并返回包含关键字的行。日志文件不断添加到池中，因此每次搜索都必须是动态的。

为每个文件创建一个 MemoryMappedFile 然后迭代是否有意义每行，匹配关键字？如果没有，更好的方法是什么？

任何示例代码的链接将不胜感激。

Answer 1

是的。 “几 MB”并不是很多，2 GB 就可以轻松容纳。

您需要使用采用映射大小的构造函数，因为文件会随着时间的推移而增长。另外，我认为您需要在每次搜索时重新创建访问器或流，但我发现 MSDN 在这里有点不清楚。

使用 Stream，创建 StreamReader 并读取每一行都很简单。整个过程很可能在合理的硬件上受到 I/O 限制，因此最初不要为 CPU 优化而烦恼。

Answer 2

为什么不在内存中创建一个结构正确的索引对象树，并针对搜索进行优化？

编辑：在一些评论后添加...

可能是这样的：

class Index
{
    public Dictionary<string, List<SourceFile>> FilesThatContainThisWord {get; set;}
    ...
}


class SourceFile
{
    public string Path {get; set;}
    ...
}


// Code to look up a term
var filesThatContainMonday = myIndex.FilesThatContainThisWord["Monday"];