使用条件随机字段进行命名实体识别

发布于 2024-08-16 07:20:21 字数 171 浏览 6 评论 0原文

什么是条件随机场条件随机场究竟如何识别结构化或非结构化文本中的人名、组织或地点等专有名称?

例如:该产品由 StackOverFlow Inc. 订购。

条件随机字段如何将 StackOverFlow Inc. 识别为组织?

What is Conditional Random Field?
How does exactly Conditional Random Field identify proper names as person, organization, or place in a structured or unstructured text?

For example: This product is ordered by StackOverFlow Inc.

What does Conditional Random Field do to identify StackOverFlow Inc. as an organization?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

放我走吧 2024-08-23 07:20:21

CRF 是一种判别性批量标记模型,与最大熵马尔可夫模型属于同一系列。

完整的解释有书本那么长。

简短的解释如下:

  1. 人类注释 200-500K 单词的文本,标记实体。
  2. 人类选择一组他们希望指示实体的特征。例如大小写,或者该单词是否在训练集中带有标签。
  3. 训练过程会计算特征的所有出现次数。
  4. CRF 算法的核心内容是搜索符合计数的所有可能模型的空间,以找到一个相当好的模型。
  5. 在运行时,解码器(可能是维特比解码器)查看句子并决定为每个单词分配什么标签。

其中最困难的部分是第 4 步中的特征选择和搜索算法。

A CRF is a discriminative, batch, tagging model, in the same general family as a Maximum Entropy Markov model.

A full explanation is book-length.

A short explanation is as follows:

  1. Humans annotate 200-500K words of text, marking the entities.
  2. Humans select a set of features that they hope indicate entities. Things like capitalization, or whether the word was seen in the training set with a tag.
  3. A training procedure counts all the occurrences of the features.
  4. The meat of the CRF algorithm search the space of all possible models that fit the counts to find a pretty good one.
  5. At runtime, a decoder (probably a Viterbi decoder) looks at a sentence and decides what tag to assign to each word.

The hard parts of this are feature selection and the search algorithm in step 4.

静若繁花 2024-08-23 07:20:21

很好理解,你必须学习很多东西。
首先

了解马尔可夫和贝叶斯网络的基础知识。
由 daphne coller 在 coursera 提供的在线课程
https://class.coursera.org/pgm/lecture/index

CRF 是一种特殊的马尔可夫网络的类型,我们有观察和隐藏状态。
目标是找到未观测变量的最佳状态分配,也称为 MAP 问题。
为大量概率和优化做好准备。 :-)

Well to understand that you got to study a lot of things.
For start

Understand the basic of markov and bayesian networks.
Online course available in coursera by daphne coller
https://class.coursera.org/pgm/lecture/index

CRF is a special type of markov network where we have observation and hidden states.
The objective is to find the best State Assignment to the unobserved variables also known as MAP problem.
Be Prepared for a lot of probability and Optimization. :-)

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文