分类算法
二分类
线性支持向量机, Logistic 回归, 决策树, 随机森林, 梯度上升树, 朴素贝叶斯
多类分类
Logistic 回归, 决策树, 随机森林, 朴素贝叶斯
回归
线性最小二乘法, Lasso, 岭回归, 决策树, 随机森林, 梯度上升树, 保序回归
?
Random Forest
随机森林(决策树 + bagging(Bootstrap Aggregating))
随机森林: 测量每个特征对预测的相对重要性, 进行取舍.
?
Lasso 算法 (Least absolute shrinkage and selection operator, 最小绝对值收敛和选择算法, 套索算法) 是一种同时进行特征选择和正则化的回归分析方法, 旨在增强统计模型的预测准确性和可解释性.
?
Ridge Regression(岭回归)在原先 A 的最小二乘估计中加入一个小扰动值, 使原先无法求广义逆的情况变成可以求出其广义逆, 使得问题稳定.
?
线性回归的损失函数
岭回归的损失函数, 约束条件用圆形表示
Lasso 回归的损失函数, 约束条件用方形表示
?
Gradient Boost(渐进梯度)只是一个框架, 里面可以套用很多算法.
?
同一个算法的不同叫法:
GBDT(Gradient Boosting Decision Tree)渐进梯度决策树
GRRT(Gradient Boosting Regression Tree)渐进梯度回归树
MART(Multiple Additive Regression Tree)多决策回归树
(Tree Network)决策网路
GBDT 在被提出之初和 SVM 一起被认为是泛化能力较强的算法. 近些年被用于搜索排序的机器学习模型中. GBDT 是回归树, 不是分类树, 核心在于, 每一颗树是从之前所有树的残差中来学习的. 为了防止过拟合, 和 Adaboosting 一样, 加入了 boostring.
GBDT 使用损失函数的梯度作为新的训练数据的 y 值.
- ?
- SVM(support Vector Machine)
来源: http://www.bubuko.com/infodetail-3054414.html