make_scorer(roc_auc_score) 不等于预定义的记分器“roc_auc”；

Question

我一直在使用 GridSearchCV 来优化二元分类器的一些参数。我希望在几乎不会产生任何误报但仍然达到很高的真阳性率的情况下操作分类器。简而言之：优化 TPR，同时将 FPR 限制为 0（或接近）。

因此，我想稍微修改一下 roc_auc_score 作为 GridSearchCV 中的记分器参数。

clf1= SVC() 

# define grid-space (obviously i would use a biger grid for the actual optimization)
grid1 = {'C':[1, 1000], 'kernel': ['poly'],  'degree' : [3], 'class_weight': ['balanced'], 'probability':[True]}

#define scoring function: Since we want to keep FPR = 0 we calculate the roc curve only between FPR = [0, 0.0001] (instead of [0, 1]
roc_spec = make_scorer(roc_auc_score, max_fpr=0.001)#define roc score for the unsave class

grid_clf_acc = GridSearchCV(clf1, param_grid = grid1 , scoring = roc_spec, n_jobs = -1, cv=cross_validation_folds)
grid_clf_acc.fit(X_train, y_train)

正如您所看到的，我通过将 max_fpr 设置为 0.001 来调整 sklearn 的标准 roc_auc_score。

如果我现在运行网格搜索，不幸的是该算法不再使用多个置信阈值来计算 roc_score，而是仅使用一个置信阈值。

另一方面，如果我不使用“自制”记分器并使用 Gridsearch 和预先实现的 roc_auc_score，则该算法确实使用多个阈值来计算 auc_roc_score。

grid_clf_acc = GridSearchCV(clf1, param_grid = grid1 , scoring = 'roc_auc', n_jobs = -1, cv=cross_validation_folds)

因此，稍微修改后的 roc_auc_score 与原始 roc_auc_score 的功能不同。这是一个错误，还是我在定义自己的得分手时犯了一个错误？

（备注：

1. 在这个例子中我使用了 max_fpr=0.001。即使我将其设置为 1，它仍然只根据一个阈值计算 roc_auc 分数。
2. 我还尝试了 make_scorer 函数的两个参数（needs_thresh & 或need_proba），但他们都没有解决问题。

最后我分享了一张图像，它显示了我为定位问题而制作的两个 ROC。左边的图像显示了一个 ROC。对于使用多个阈值生成的分类器，顶部的数字是计算出的 ROC 分数。该分数与我使用自定义评分器时在 GridSearch 中获得的分数不匹配。在右侧，我绘制了仅使用一个阈值生成的分类器的 ROC（--> 我使用了 Predict 而不是 Predict_prob）。使用自定义评分器时 GridSearchCV 的 ROC_AUC 分数。 net/H7H6B.png" alt="在此处输入图像描述">

Answer 1

我发现了我的错误。最终起作用的是按如下方式初始化记分器：

roc_spec = make_scorer(roc_auc_score, max_fpr=0.001, needs_proba=True)

然后我还必须在 SVC 中设置 probabilty=True：

clf1= SVC(probability=True)

这使其起作用。