随机森林在 sklearn 中的实现:
随机森林
1 概述
1.1 集成算法概述
1.2 sklearn 中的集成算法
2 RandomForestClassi?er
2.1 重要参数
2.1.1 控制基评估器的参数
- 2.1.2 n_estimators
- 2.1.3 random_state
- 2.1.4 Bootstrap & oob_score
2.2 重要属性和接口
Bonus:Bagging 的另一个必要条件
3 RandomForestRegressor
3.1 重要参数, 属性与接口
criterion
重要属性和接口
3.2 实例: 用随机森林回归填补缺失值
4 机器学习中调参的基本思想
5 实例: 随机森林在乳腺癌数据上的调参
6 附录
6.1 Bagging vs Boosting
6.2 RFC 的参数列表
6.3 RFC 的属性列表
6.4 RFC 的接口列表
1 概述
1.1 集成算法概述
集成学习 (ensemble learning) 是时下非常流行的机器学习算法, 它本身不是一个单独的机器学习算法, 而是通过在数据上构建多个模型, 集成所有模型的建模结果. 基本上所有的机器学习领域都可以看到集成学习的身影, 在现实中集成学习也有相当大的作用, 它可以用来做市场营销模拟的建模, 统计客户来源, 保留和流失, 也可用来预测疾病的风险和病患者的易感性. 在现在的各种算法竞赛中, 随机森林, 梯度提升树(GBDT),Xgboost 等集成算法的身影也随处可见, 可见其效果之好, 应用之广.
集成算法的目标: 集成算法会考虑多个评估器的建模结果, 汇总之后得到一个综合的结果, 以此来获取比单个模型更好的回归或分类表现.
多个模型集成成为的模型叫做集成评估器 (ensemble estimator), 组成集成评估器的每个模型都叫做基评估器(base estimator). 通常来说, 有三类集成算法: 装袋法(Bagging), 提升法(Boosting) 和 stacking.
装袋法的核心思想是构建多个相互独立的评估器, 然后对其预测进行平均或多数表决原则来决定集成评估器的结果. 装袋法的代表模型就是随机森林.
提升法中, 基评估器是相关的, 是按顺序一一构建的. 其核心思想是结合弱评估器的力量一次次对难以评估的样本进行预测, 从而构成一个强评估器. 提升法的代表模型有 Adaboost 和梯度提升树.
1.2sklearn 中的集成算法
sklearn 中的集成算法模块 ensemble
集成算法中, 有一半以上都是树的集成模型, 可以想见决策树在集成中必定是有很好的效果. 在这堂课中, 我们会以随机森林为例, 慢慢为大家揭开集成算法的神秘面纱.
- 2 RandomForestClassi?er
- class sklearn.ensemble.RandomForestClassifier (n_estimators='10', criterion='gini', max_depth=None,
- min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features='auto',
- max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, Bootstrap=True, oob_score=False,
- n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None)
随机森林是非常具有代表性的 Bagging 集成算法, 它的所有基评估器都是决策树, 分类树组成的森林就叫做随机森林分类器, 回归树所集成的森林就叫做随机森林回归器. 这一节主要讲解 RandomForestClassi?er, 随机森林分类器.
2.1 重要参数
2.1.1 控制基评估器的参数
单个决策树的准确率越高, 随机森林的准确率也会越高, 因为装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的.
2.1.2 n_estimators
这是森林中树木的数量, 即基评估器的数量. 这个参数对随机森林模型的精确性影响是单调的, n_estimators 越大, 模型的效果往往越好. 但是相应的, 任何模型都有决策边界, n_estimators 达到一定的程度之后, 随机森林的精确性往往不在上升或开始波动, 并且, n_estimators 越大, 需要的计算量和内存也越大, 训练的时间也会越来越长. 对于这个参数, 我们是渴望在训练难度和模型效果之间取得平衡.
n_estimators 的默认值在现有版本的 sklearn 中是 10, 但是在即将更新的 0.22 版本中, 这个默认值会被修正为 100. 这个修正显示出了使用者的调参倾向: 要更大的 n_estimators.
来建立一片森林吧
树模型的优点是简单易懂, 可视化之后的树人人都能够看懂, 可惜随机森林是无法被可视化的. 所以为了更加直观地让大家体会随机森林的效果, 我们来进行一个随机森林和单个决策树效益的对比. 我们依然使用红酒数据集.
1. 导入我们需要的包
- %matplotlib inline
- from sklearn.tree import DecisionTreeClassifier
- from sklearn.ensemble import RandomForestClassifier
- from sklearn.datasets import load_wine
2. 导入需要的数据集
- wine = load_wine()
- wine.data
- wine.target
3. 复习: sklearn 建模的基本流程
- # 实例化
- # 训练集带入实例化的模型去进行训练, 使用的接口是 fit
- # 使用其他接口将测试集导入我们训练好的模型, 去获取我们希望过去的结果(score.Y_test)
- from sklearn.model_selection import train_test_split
- Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data,wine.target,test_size=0.3)
- clf = DecisionTreeClassifier(random_state=0)
- rfc = RandomForestClassifier(random_state=0)
- clf = clf.fit(Xtrain,Ytrain)
- rfc = rfc.fit(Xtrain,Ytrain)
- score_c = clf.score(Xtest,Ytest)
- score_r = rfc.score(Xtest,Ytest)
- print("Single Tree:{}".format(score_c)
- ,"Random Forest:{}".format(score_r)
- )
4. 画出随机森林和决策树在一组交叉验证下的效果对比
- # 目的是带大家复习一下交叉验证
- # 交叉验证: 是数据集划分为 n 分, 依次取每一份做测试集, 每 n-1 份做训练集, 多次训练模型以观测模型稳定性的方法
- from sklearn.model_selection import cross_val_score
- import matplotlib.pyplot as plt
- rfc = RandomForestClassifier(n_estimators=25)
- rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10)
- clf = DecisionTreeClassifier()
- clf_s = cross_val_score(clf,wine.data,wine.target,cv=10)
- plt.plot(range(1,11),rfc_s,label = "RandomForest")
- plt.plot(range(1,11),clf_s,label = "Decision Tree")
- plt.legend()
- plt.show()
- #==================== 一种更加有趣也更简单的写法 ===================#
- """label ="RandomForest"
- for model in [RandomForestClassifier(n_estimators=25),DecisionTreeClassifier()]:
- score = cross_val_score(model,wine.data,wine.target,cv=10)
- print("{}:".format(label)),print(score.mean())
- plt.plot(range(1,11),score,label = label)
- plt.legend()
- label = "DecisionTree"
- """
结果:
5. 画出随机森林和决策树在十组交叉验证下的效果对比(实际情况中几乎不用, 这里只是为了更清楚的让初学者理解随机森林效果更好)
- rfc_l = []
- clf_l = []
- for i in range(10):
- rfc = RandomForestClassifier(n_estimators=25)
- rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
- rfc_l.append(rfc_s)
- clf = DecisionTreeClassifier()
- clf_s = cross_val_score(clf,wine.data,wine.target,cv=10).mean()
- clf_l.append(clf_s)
- plt.plot(range(1,11),rfc_l,label = "Random Forest")
- plt.plot(range(1,11),clf_l,label = "Decision Tree")
- plt.legend()
- plt.show()
- # 是否有注意到, 单个决策树的波动轨迹和随机森林一致?
- # 再次验证了我们之前提到的, 单个决策树的准确率越高, 随机森林的准确率也会越高
结果:
6. n_estimators 的学习曲线
- #####[TIME WARNING: 2mins 30 seconds] #####
- superpa = []
- for i in range(200):
- rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
- rfc_s = cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
- superpa.append(rfc_s)
- print(max(superpa),superpa.index(max(superpa))+1)# 打印出: 最高精确度取值, max(superpa))+1 指的是森林数目的数量 n_estimators
- plt.figure(figsize=[20,5])
- plt.plot(range(1,201),superpa)
- plt.show()
结果: 0.9888888888888889 42
思考: 随机森林用了什么方法, 来保证集成的效果一定好于单个分类器?
2.1.3 random_state
随机森林的本质是一种装袋集成算法(bagging), 装袋集成算法是对基评估器的预测结果进行平均或用多数表决原则来决定集成评估器的结果. 在刚才的红酒例子中, 我们建立了 25 棵树, 对任何一个样本而言, 平均或多数表决原则下, 当且仅当有 13 棵以上的树判断错误的时候, 随机森林才会判断错误. 单独一棵决策树对红酒数据集的分类准确率在 0.85 上下浮动, 假设一棵树判断错误的可能性为 0.2(ε), 那 20 棵树以上都判断错误的可能性是:
其中, i 是判断错误的次数, 也是判错的树的数量,ε是一棵树判断错误的概率,(1-ε)是判断正确的概率, 共判对 25-i 次. 采用组合, 是因为 25 棵树中, 有任意 i 棵都判断错误.
- import numpy as np
- from scipy.special import comb
- np.array([comb(25,i)*(0.2**i)*((1-0.2)**(25-i)) for i in range(13,26)]).sum()
可见, 判断错误的几率非常小, 这让随机森林在红酒数据集上的表现远远好于单棵决策树.
那现在就有一个问题了: 我们说袋装法服从多数表决原则或对基分类器结果求平均, 这即是说, 我们默认森林中的每棵树应该是不同的, 并且会返回不同的结果. 设想一下, 如果随机森林里所有的树的判断结果都一致(全判断对或全判断错), 那随机森林无论应用何种集成原则来求结果, 都应该无法比单棵决策树取得更好的效果才对. 但我们使用了一样的类 DecisionTreeClassi?er, 一样的参数, 一样的训练集和测试集, 为什么随机森林里的众多树会有不同的判断结果?
问到这个问题, 很多小伙伴可能就会想到了: sklearn 中的分类树 DecisionTreeClassi?er 自带随机性, 所以随机森林中的树天生就都是不一样的. 我们在讲解分类树时曾提到, 决策树从最重要的特征中随机选择出一个特征来进行分枝, 因此每次生成的决策树都不一样, 这个功能由参数 random_state 控制.
随机森林中其实也有 random_state, 用法和分类树中相似, 只不过在分类树中, 一个 random_state 只控制生成一棵树, 而随机森林中的 random_state 控制的是生成森林的模式, 而非让一个森林中只有一棵树.
- rfc = RandomForestClassifier(n_estimators=20,random_state=2)
- rfc = rfc.fit(Xtrain, Ytrain)
- # 随机森林的重要属性之一: estimators, 查看森林中树的状况
- rfc.estimators_[0].random_state
- for i in range(len(rfc.estimators_)):
- print(rfc.estimators_[i].random_state)
结果:
- 1872583848
- 794921487
- 111352301
- 1853453896
- 213298710
- 1922988331
- 1869695442
- 2081981515
- 1805465960
- 1376693511
- 1418777250
- 663257521
- 878959199
- 854108747
- 512264917
- 515183663
- 1287007039
- 2083814687
- 1146014426
- 570104212
我们可以观察到, 当 random_state 固定时, 随机森林中生成是一组固定的树, 但每棵树依然是不一致的, 这是用 "随机挑选特征进行分枝" 的方法得到的随机性. 并且我们可以证明, 当这种随机性越大的时候, 袋装法的效果一般会越来越好. 用袋装法集成时, 基分类器应当是相互独立的, 是不相同的.
但这种做法的局限性是很强的, 当我们需要成千上万棵树的时候, 数据不一定能够提供成千上万的特征来让我们构筑尽量多尽量不同的树. 因此, 除了 random_state. 我们还需要其他的随机性.
2.1.4 Bootstrap & oob_score
要让基分类器尽量都不一样, 一种很容易理解的方法是使用不同的训练集来进行训练, 而袋装法正是通过有放回的随机抽样技术来形成不同的训练数据, Bootstrap 就是用来控制抽样技术的参数.
在一个含有 n 个样本的原始训练集中, 我们进行随机采样, 每次采样一个样本, 并在抽取下一个样本之前将该样本放回原始训练集, 也就是说下次采样时这个样本依然可能被采集到, 这样采集 n 次, 最终得到一个和原始训练集一样大的, n 个样本组成的自助集. 由于是随机采样, 这样每次的自助集和原始数据集不同, 和其他的采样集也是不同的. 这样我们就可以自由创造取之不尽用之不竭, 并且互不相同的自助集, 用这些自助集来训练我们的基分类器, 我们的基分类器自然也就各不相同了.
Bootstrap 参数默认 True, 代表采用这种有放回的随机抽样技术. 通常, 这个参数不会被我们设置为 False.
然而有放回抽样也会有自己的问题. 由于是有放回, 一些样本可能在同一个自助集中出现多次, 而其他一些却可能被忽略, 一般来说, 自助集大约平均会包含 63% 的原始数据. 因为每一个样本被抽到某个自助集中的概率为:
当 n 足够大时, 这个概率收敛于 1-(1/e), 约等于 0.632. 因此, 会有约 37% 的训练数据被浪费掉, 没有参与建模, 这些数据被称为袋外数据(out of bag data, 简写为 oob). 除了我们最开始就划分好的测试集之外, 这些数据也可以被用来作为集成算法的测试集. 也就是说, 在使用随机森林时, 我们可以不划分测试集和训练集, 只需要用袋外数据来测试我们的模型即可. 当然, 这也不是绝对的, 当 n 和 n_estimators 都不够大的时候, 很可能就没有数据掉落在袋外, 自然也就无法使用 oob 数据来测试模型了.
如果希望用袋外数据来测试, 则需要在实例化时就将 oob_score 这个参数调整为 True, 训练完毕之后, 我们可以用随机森林的另一个重要属性: oob_score_来查看我们的在袋外数据上测试的结果:
来源: http://www.bubuko.com/infodetail-2986180.html