检查特征在Scikit-Learn Pipelines中的重要性

Question

我使用 scikit-learn 定义了以下管道：

model_lg = Pipeline([("preprocessing", StandardScaler()), ("classifier", LogisticRegression())])
model_dt = Pipeline([("preprocessing", StandardScaler()), ("classifier", DecisionTreeClassifier())])
model_gb = Pipeline([("preprocessing", StandardScaler()), ("classifier", HistGradientBoostingClassifier())])

然后我使用交叉验证来评估每个模型的性能：

cv_results_lg = cross_validate(model_lg, data, target, cv=5, return_train_score=True, return_estimator=True)
cv_results_dt = cross_validate(model_dt, data, target, cv=5, return_train_score=True, return_estimator=True)
cv_results_gb = cross_validate(model_gb, data, target, cv=5, return_train_score=True, return_estimator=True)

当我尝试使用 coef_ 方法检查每个模型的特征重要性时，它给了我归因错误：

model_lg.steps[1][1].coef_
AttributeError: 'LogisticRegression' object has no attribute 'coef_'

model_dt.steps[1][1].coef_
AttributeError: 'DecisionTreeClassifier' object has no attribute 'coef_'

model_gb.steps[1][1].coef_
AttributeError: 'HistGradientBoostingClassifier' object has no attribute 'coef_'

我想知道如何修复此错误？或者是否有其他方法来检查每个模型中的特征重要性？

Answer 1

Imo，这里的要点如下。一方面，管道实例 model_lg、model_dt 等没有显式拟合（您没有调用方法 .fit () 直接在它们上），这会阻止您尝试访问实例本身的 coef_ 属性。

另一方面，通过使用参数 return_estimator=True 调用 .cross_validate() （仅在交叉中使用 .cross_validate() 才可能实现） -验证方法），您可以为每个 cv 分割获取拟合估计器，但您应该通过字典 cv_results_lg 访问它们， cv_results_dt 等（在'estimator' 键上）。 这是代码中的参考 这是一个示例：

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_validate

X, y = load_iris(return_X_y=True)

model_lg = Pipeline([("preprocessing", StandardScaler()), ("classifier", LogisticRegression())])

cv_results_lg = cross_validate(model_lg, X, y, cv=5, return_train_score=True, return_estimator=True)

例如，这些将是在第一次折叠时计算的结果。

cv_results_lg['estimator'][0].named_steps['classifier'].coef_

有关相关主题的有用见解可以在以下位置找到：

• 如何获取多标签分类问题的特征重要性？
• 获取支持和排名属性在 Python 3 中使用 Pipeline 的 RFE

Answer 2

在某种算法中进行循环并打印精度