优化 PDF Word 搜索

Question

我有一个应用程序，它迭代 pdf 文件的目录并搜索字符串。我正在使用 PDFBox 从 PDF 中提取文本，代码非常简单。起初，要搜索 13 个文件，需要一分半钟才能加载结果，但我注意到 PDFBox 在日志文件中放入了很多内容。我更改了日志记录级别，这有很大帮助，但加载页面仍然需要 30 秒以上。有人对如何优化代码或确定文档中有多少点击次数的其他方法有任何建议吗？我使用了 Lucene，但它似乎只提供目录中的点击次数，而不是特定文件中的点击次数。

这是我从 PDF 中获取文本的代码。

public static String parsePDF (String filename) throws IOException 
 {

    FileInputStream fi = new FileInputStream(new File(filename));       

    PDFParser parser = new PDFParser(fi);   
    parser.parse();   
    COSDocument cd = parser.getDocument();   
    PDFTextStripper stripper = new PDFTextStripper();   
    String pdfText = stripper.getText(new PDDocument(cd));  

    cd.close();

    return pdfText;
 }

Answer 1

Lucene 允许您单独索引每个文档。
而不是直接使用PDFBox。您可以使用 Apache Tika 提取文本并将其提供给 lucene。 Tika 在内部使用 PDFBox。但是，它提供了易于使用的 api 以及从任何类型提取内容的能力无缝文档。
一旦您拥有目录中每个文件的每个 lucene 文档，您就可以针对完整索引执行搜索。
Lucene 匹配搜索词并返回与文档内容匹配的结果（文件）数量。
还可以使用 lucene api 获取每个 lucene 文档/文件中的命中数。
这称为术语频率，可以针对正在搜索的文档和字段进行计算。

示例来自 在 Lucene / Lucene.net 搜索中，如何计算每个文档的点击次数？

List docIds = // doc ids for documents that matched the query, 
              // sorted in ascending order 

int totalFreq = 0;
TermDocs termDocs = reader.termDocs();
termDocs.seek(new Term("my_field", "congress"));
for (int id : docIds) {
    termDocs.skipTo(id);
    totalFreq += termDocs.freq();
}