Ntlk& Python，绘制ROC曲线

Question

我正在使用 nltk 和 Python，我想绘制分类器（朴素贝叶斯）的 ROC 曲线。是否有任何函数可以绘制它，或者我应该跟踪真阳性率和假阳性率？

如果有人能指出我已经在做的一些代码，那就太好了......

谢谢。

Answer 1

PyROC 看起来很简单：教程，源代码

这就是它与 NLTK 的配合方式朴素贝叶斯分类器：

# class labels are 0 and 1
labeled_data = [
    (1, featureset_1),
    (0, featureset_2),
    (1, featureset_3),
    # ...
]

# naive_bayes is your already trained classifier,
# preferrably not on the data you're testing on :)

from pyroc import ROCData

roc_data = ROCData(
    (label, naive_bayes.prob_classify(featureset).prob(1))
    for label, featureset
    in labeled_data
)
roc_data.plot()

编辑：

• ROC 仅适用于二元分类器。如果您有三个类别，您可以分别衡量正类别和负类别的表现（通过将其他两个类别计为 0，就像您建议的那样）。
• 该库期望决策函数的输出作为每个元组的第二个值。然后它尝试所有可能的阈值，例如 f(x) >= 0.8 =>分类为 1，并为每个阈值绘制一个点（这就是最终得到一条曲线的原因）。因此，如果您的分类器猜测类别 0，您实际上需要一个接近于零的值。这就是我提出 .prob(1) 的原因