GBDT
序言
GBDT (Gradient Boosting Decision Tree)又叫 MART (Multiple Additive Regression Tree), 是一种迭代的决策树算法, 即该算法由多棵决策树组成, 所有决策树的预测结果累加起来做最终答案
正文
Gradient Boosting 基本思想
Gradient Boosting 基于三个臭皮匠赛过诸葛亮的思想与前面随机森林 Bagging 的思想不同, 我们下面举一个直观的金融相关的例子进行对比
假设你现在希望较准确的对某个公司进行股票开盘价定价, 但是你完全没有金融相关的知识, 并且由于金融市场的千变万化, 仅仅参考一个专业金融领域工作者的看法, 那风险将会非常大
考虑到这些原因, 那么你可以通过 Bagging 或者 Gradient Boosting 的思想, 集合众人的智慧帮你进行股票的定价如果你通过搜集一群相似的人 (专业金融领域工作者) 对该公司股票的定价, 并且你认为大家的水平一致, 所以你简单计算这些定价的平均值作为最终的定价, 那么就相当于你采用了 Bagging 的思想; 另外, 如果你邀请了个不同领域的人, 他们可以没有太多专业的金融知识, 比如普通的股民一些中小企业的创业者大企业的高管你们集合在一个房间中, 你先说了你认为可能的定价元 / 股, 随后你邀请的这些人开始了发言: 我觉得这个高 (低) 了, 至少也得减(加)n 元 / 股, 然而你认为不能完全参考别人的发言, 所以你参考后回答道: 参考了你的看法, 我觉得定价可能是价元 / 股, 这里的是一个属于之间的数, 表示了你对发言者的信任程度当所有人发言完之后, 你也确定了最后的定价, 那么你就相当于采用了 Gradient Boosting 的思想
Gradient Boosting 的关键与特点
在上面的例子中, 如果你仔细阅读你会发现, 与 Bagging 相比, Gradient Boosting 有两个非常关键的地方: 你可以邀请不专业的决策者, 你需要邀请不同领域的人以及一个重要特点: 你不需要完全信任每个人的定价
这两个关键也代表了 Gradient Boosting 的关键性质: 基模型的预测能力可以非常弱(例如树深很小的决策树), 不同的基模型的关注点不同(例如 GBDT 每颗决策树关注于预测先前的决策树没能预测到的残差部分)
而对每颗树学习到的残差部分的信任程度, 实际上称为 shrinkage(收缩量)或 learning rate(学习率), 很大程度的影响了 GBDT 的实际应用效果如果你完全信任取, 此时, 每次新的定价都完全取决于最新发言者的定价, 那么你股票的定价将会非常不稳定; 而如果你取的非常小, 那么最终的结果将非常大程度的取决于你最初的定价结果
GBDT 实例讲解
竟然我们学习了决策树, 现在又形象的介绍了 Gradient Boosting 的思想, 那么我们现在已经可以进入 GBDT(Gradient Boosting Decision Tree)的实例讲解了在实例讲解前, 我们有必要看看 DT(决策树)作为一个模型, 到底是如何与 GB(Gradient Boosting)结合起来的, 其实非常简单, DT 作为模型决策者, 不难想到, 每颗决策树学习不同的残差相当于拥有不同领域知识的决策参与者下面我们用虚构的数据, 介绍 GBDT 是如何实现公司上市价格定价的
公司 名称 | 资产 增长率 (%) | 所属 行业 | 实际 上市价格(元 / 股) |
公司 A | 8 | 汽车制造 | 10 |
公司 B | 18 | 汽车维修 | 12 |
公司 C | 4 | 汽车维修 | 6 |
公司 D | 12 | 汽车制造 | 16 |
(图一)
首先我们训练生成第一棵决策树, 该决策树使用所属行业这个属性去拟合上市价格, 如图一所示, 由于公司 A, 公司 D 同属于汽车制造, 公司 B, 公司 C 同属于汽车维修, 他们被分成两拨, 每拨用平均上市价格作为预测值此时的残差 = 实际值-预测值, 所以 A 的残差为 10-13=-3 以此类推, 得到 A,B,C,D 的残差为 - 3,3,-3,3
GBDT 以计算得到的残差作为新的预测目标, 以此训练得到第二棵决策树(图二), 该决策树根据其资产增长率是否大于 10% 作为分割点, 将 A,C 与 B,D 分成两拨, 训练结束
因此综合两棵树的学习结果:
预测 A 上市股价 = 13-3=10
预测 B 上市股价 = 9+3=12
预测 C 上市股价 = 9-3=6
预测 D 上市股价 = 13+3=16
(图二)
总结
在本章中, 我们通过一个股票开盘价定价的例子介绍了 GBDT 的思想, 并巧妙的将 GBDT 的特点及关键部分也包含到这个例子中, 随后, 我们从特殊到一般, 重新讲述了 GBDT 的特点及关键部分, 这不难看出我们对其的重视, 希望同学们能仔细体会这部分内容
参考文献
https://www.jianshu.com/p/005a4e6ac775
来源: http://www.bubuko.com/infodetail-2515927.html