在 mallet 中处理 CRF 的整数值特征

Question

我刚刚开始在 mallet 中使用 SimpleTagger 类。我的印象是它需要二进制功能。我想要实现的模型具有正整数值特征，我想知道如何在 mallet 中实现它。另外，我听说如果模型要有意义，就需要对非二元特征进行标准化。如果有任何有关如何执行此操作的建议，我将不胜感激。

附：是的，我知道有一个专门的木槌邮件列表，但我已经等待了近一天才能让我的订阅获得批准才能在那里发布。我只是很着急而已。

Answer 1

好吧，现在已经是 6 年后的事了。如果您不再着急，可以查看 Java API 来创建实例。一个最小的例子：

private Instance createInstance(LabelAlphabet labelAlphabet){
  // observations and labels should be equal size for linear chain CRFs
  TokenSequence observations = new TokenSequence();
  LabelSequence labels = new LabelSequence(labelAlphabet, n); 

  observations.add(createToken());
  labels.add("idk, some target or something");     

  return new Instance(
            observations,
            label,
            "myInstance",
            null
    );  
}

private Token createToken() {
    Token token = new Token("exampleToken");

    // Note: properties are not used for computing (I think)
    token.setProperty("SOME_PROPERTY", "hello");

    // Any old double value
    token.setFeatureValue(featureVal, 666.0);      

    // etc for more features ...

    return token;
 }


public static void main(String[] args){
  // Note the first arg is false to denote we *do not* deal with binary features
  InstanceList instanceList = new InstanceList(new TokenSequence2FeatureVectorSequence(false, false));    

  LabelAlphabet labelAlphabet = new LabelAlphabet();
  // Converts our tokens to feature vectors
  instances.addThruPipe(createInstance(labelAlphabet)); 
}

---

或者，如果您想继续使用 SimpleTagger，只需定义二进制功能，例如 HAS_1_LETTER、HAS_2_LETTER 等，尽管这看起来很乏味。