如何找出精确度、召回率、特异性和精确度Python中网格搜索中选择的最佳模型的F1分数？

Question

这是我的模型的网格选择步骤。我能够找出所选模型的最佳准确度分数和最佳参数，但我想找出精确度、召回率、特异性和精确度。网格搜索中选择的最佳模型的F1分数

from sklearn.model_selection import GridSearchCV
parameters = [{'n_estimators': [100, 200],
               'max_features': ['auto', 'sqrt', None], 
               'max_depth': [10, 20, 30, None], 
               'criterion': ['gini', 'entropy'],
               'min_samples_split':  [5, 10,15], 'min_samples_leaf': [1,4,6], 
               'bootstrap': [True, False]}]

grid_search = GridSearchCV(estimator = classifier,
                           param_grid = parameters,
                           scoring = 'accuracy',
                           cv = 5,
                           n_jobs = -1) #n_jobs to optimise grid search process
grid_search.fit(X_train, Y_train)
best_accuracy = grid_search.best_score_
best_parameters = grid_search.best_params_
print("\n")
print("Results for Grid Search")
print("Best Accuracy: {:.2f} %".format(best_accuracy*100))
print("Best Parameters:", best_parameters)

Answer 1

GridSearchCV 允许传递评分函数列表，前提是您指定一个评分函数，将选择最佳参数来重新拟合模型。

grid_search = GridSearchCV(
    estimator=classifier,
    param_grid=parameters,
    scoring=['accuracy', 'f1', 'precision', 'recall'],
    refit="accuracy",  # Or any other value from `scoring` list
)

然后，您可以在 cv_results_ 属性中访问整个交叉验证结果。首先将 cv_results_ 打包为 pandas DataFrame，然后访问与 best_index_ 属性对应的行会更容易：

cv_results = pd.DataFrame(grid_search.cv_results_)
best_model_results = cv.results.loc[grid_search.best_index_]

您将获得一个按分数名称索引的系列，因此您可以访问，例如 "mean_test_recall"、"mean_test_f1" 等。

请注意，对于您的问题，特异性不是 内置评分名称，但您也可以提供 GridSearchCV 和 自定义指标，所以可以传递一个可调用的计算它（例如使用 混淆矩阵）