给定文档，选择相关片段

Question

当我在这里提出问题时，自动搜索返回的问题的工具提示给出了问题的前一点，但其中相当一部分没有给出任何比理解问题更有用的文本。标题。有谁知道如何制作一个过滤器来删除问题中无用的部分？

我的第一个想法是修剪仅包含某个列表中单词的任何前导句子（例如，停用词，加上标题中的单词，加上 SO 语料库中与标签相关性非常弱的单词，也就是说，它们同样可能出现在任何问题中，无论其标签如何）

Answer 1

自动文本摘要

听起来您对自动文本摘要< /strong>。要对该问题、所涉及的问题和可用算法有一个很好的概述，请查看 Das 和 Martin 的论文 自动文本摘要调查 (2007)。

简单算法

一个简单但相当有效的摘要算法是从原始文本中选择有限数量的包含最频繁内容词的句子（即最常见的不包括 停用词列表 词）。

Summarizer(originalText, maxSummarySize):
   // start with the raw freqs, e.g. [(10,'the'), (3,'language'), (8,'code')...]
   wordFrequences = getWordCounts(originalText)
   // filter, e.g. [(3, 'language'), (8, 'code')...]
   contentWordFrequences = filtStopWords(wordFrequences)
   // sort by freq & drop counts, e.g. ['code', 'language'...]
   contentWordsSortbyFreq = sortByFreqThenDropFreq(contentWordFrequences)

   // Split Sentences
   sentences = getSentences(originalText)

   // Select up to maxSummarySize sentences
   setSummarySentences = {}
   foreach word in contentWordsSortbyFreq:
      firstMatchingSentence = search(sentences, word)
      setSummarySentences.add(firstMatchingSentence)
      if setSummarySentences.size() = maxSummarySize:
         break

   // construct summary out of select sentences, preserving original ordering
   summary = ""
   foreach sentence in sentences:
     if sentence in setSummarySentences:
        summary = summary + " " + sentence

   return summary

使用此算法进行摘要的一些开源包有：

Classifier4J (Java)

如果您使用 Java，则可以使用 Classifier4J的模块简单摘要器。

使用此处找到的示例，我们假设原始文本是：

Classifier4J 是一个用于处理文本的 java 包。 Classifier4J 包括一个摘要器。摘要器允许对文本进行摘要。摘要器真的很酷。我认为没有其他 java 摘要器。

如以下代码片段所示，您可以轻松创建一个简单的一句话摘要：

// Request a 1 sentence summary
String summary = summariser.summarise(longOriginalText, 1);

使用上面的算法，这将生成 Classifier4J 包含一个摘要器。。

NClassifier (C#)

如果您使用 C#，则有一个 Classifier4J 到 C# 的端口，名为 NClassifier

Tristan Havelick 的 NLTK 摘要器 (Python)

Classifier4J 的摘要器有一个正在开发中的 Python 端口，使用 Python 的 自然语言工具包 (NLTK) 可用此处。