递归特征消除法是一种用于特征选择的统计方法, 其基本思想是通过递归地排除一些权沉Zui细小的特征,以寻找对模型预测精度关系到Zui巨大的特征子集。
RFE的优良处:
- 少许些特征数量效率。
- 搞优良模型泛化Neng力选择关键的特征Neng帮搞优良模型的泛化Neng力,使其在新鲜数据上的表现geng优良。
- 简化模型去除不关键的特征Neng简化模型,使其geng容易于搞懂和说明白。
- 消除冗余特征Neng识别并排除冗余特征,从而少许些数据集中的噪声。
- 优化模型性Neng通过选择正确的特征,Neng搞优良模型的预测准确率和分类/回归性Neng。
RFE的应用:
- 分类问题如逻辑回归、决策树、支持向量机等。
- 回归问题如线性回归、岭回归等。
- 聚类问题尽管RFE基本上用于监督学,但也Neng在有些情况下用于无监督学。
RFE的实现步骤:
- 选择基模型选择一个分类或回归模型作为基模型。
- 计算特征关键性用基模型训练数据集,并计算个个特征的权沉。
- 递归排除特征权沉,从数据集中递归地排除权沉Zui细小的特征。
- 训练新鲜模型用新鲜的特征子集沉新鲜训练模型。
- 再来一次步骤再来一次上述步骤,直到达到预定的特征数量。
RFE的代码示例:
python
from sklearn.featureselection import RFE
from sklearn.svm import SVR
from sklearn.datasets import loaddigits
digits = load_digits
X = digits.images.reshape, -1)
y = digits.target
estimator = SVR
selector = RFE
selector = selector.fit
print
RFE的不优良的地方:
- 对参数敏感RFE的后来啊兴许会受到特征选择步骤的关系到。
- 计算本钱Ru果特征数量非常许多,RFE兴许需要一巨大堆的计算材料。
- 模型依赖性RFE的后来啊取决于所选的基模型,所以呢对于不同的基模型兴许会得到不同的后来啊。
总的 RFE是一种有力巨大的特征选择方法,Neng用于各种机器学问题,但需要在实际操作中仔细调整参数,以得到Zui佳后来啊。