文本挖掘从文本中提取动物类型

Question

我需要做一个实验，而且我是 NLP 新手。我读过解释理论问题的书籍，但当涉及到实践时，我发现很难找到指南。所以请谁对 NLP 有所了解，尤其是实际问题告诉我并指出正确的道路，因为我觉得我迷失了（有用的书籍，有用的工具和有用的网站）

我想做的是获取文本并找到具体的内容例如其中的动物，如狗、猫等，然后我需要提取该单词和每侧 2 个单词。 例如，

I was watching TV with my lovely cat last night.

提取的文本将是

(my lovely cat last night)

这将是我对机床

Q1 的训练示例：将有大约 100 个与我上面解释的类似的训练示例。我使用 tocknizer 来提取单词，但如何提取每侧 2 个单词的特定单词（对于我们的示例，所有类型的动物）。例如，我需要使用标签吗？或者您的想法是什么？

问题 2：如果我有这些训练示例，我如何准备适当的数据集并将其提供给机床进行训练？我应该在这个数据集中写什么来指定动物以及我是否需要提供其他特征？以及如何将其排列在数据集中。

你的许多话可能对我有很大帮助，请毫不犹豫地告诉我你所知道的

Answer 1

您尝试做的事情有时被称为“本体获取”或“自动化本体”，这是一个相当困难的问题。大多数方法都归结为“相似的单词往往会在相似的上下文中使用”。问题在于，虽然有些算法可以成功地从诸如您的数据中提取语义上有意义的关系，但从“这里有一堆在统计上与您的种子术语共享共同分布的术语”到“您的种子术语是动物名称” ，这里有一些其他动物的名字”是具有挑战性的。例如，对猫、狗、蛇、鸟的训练可能最终会给您提供类似上下文中使用的“哺乳动物、腊肠犬、生物、两足动物”等结果，但根据您的要求，可能并不完全符合您的需要。

下面是一篇研究论文的链接，该论文完全实现了您想要做的事情。他们描述了他们的数据表示方法和所使用的算法，并且在动物名称问题上至少取得了一定程度的成功。此外，追踪他们的参考文献可能是一项富有成果的练习。

http:// www.cl.cam.ac.uk/~ah433/cluk.pdf

Answer 2

首先我要说的是，作为一名自学成才的工程师，当我几年前开始从事 NLP 工作时，我完全理解您的沮丧。我建议您阅读 NLTK 这本书，这是一本关于应用 NLP 的精彩介绍。特别是，请阅读第 3-7 章，其中涉及处理原始文本数据以提取信息并将其用于标记。该书可在线获取。

关于您的具体问题：

我认为创建一个小动物列表，然后从包含这些动物名称的语料库中提取句子可能会更容易。维基百科句子就是一个明显的例子。您可以使用这种方法构建语料库，因为您已经知道每个句子中动物的名称。

// PSEUDO CODE
Dictionary animals = ["dog","dogs,"cat","cats","pig","pigs","cow","cows","lion","lions","lioness","lionesses"];
String[] sentences = getWikipediaSentences();
for(sent: sentences){
  for(token: Tokenizer.getTokens(sent)){
    if(animals.contains(token){
    addSentenceToCorpus(sent)
    } // else ignore sentence
  }
}

然后，您可以根据这些句子训练算法，以便可以使用经过训练的模型来提取新的动物名称。这种方法有一些警告，因为你的“训练数据”是人为收集的，但它仍然是一个很好的初次体验。