stanford tagger - 标记速度

Question

关于斯坦福标记器，我提供了自己的标记语料库，用于训练斯坦福标记器的模型。但是，我意识到我的标记器模型的标记速度比默认的 wsjleft3 标记器模型慢得多。什么可能对此做出贡献？如何提高模型的速度？ （除了 Penn 树库标签集之外，我还添加了 3 或 4 个自定义标签）

Answer 1

虽然添加更多功能（在 arch 中）通常会使速度变慢（因为特征提取是主要的运行时成本之一），但速度的两个主要决定因素是

• ：
  特点：left3words 使用
  上一个和第二个上一个标签 (2)
  所以相当快，双向
  使用 4 个（每侧两个），所以是
  非常慢。只使用 1 的标记器
  或 0 上下文标签要快得多
  再次。
• 一般标签集的大小，特别是可应用于未知单词的开放类标签集的大小。 （但是添加 3 个或 4 个标签几乎没有什么区别——当您的标签集包含数百个标签时，就会出现问题。）