logistic Regression-逻辑回归
线性边界方程
(θ为特征值参数,x为自变量)
公式意义:计算某个事件发生的可能性,可以把跟这个事件相关的所有特征加权求和,可以看做是类别分界线(最佳拟合线),着重理解的方程。
逻辑函数(Sigmoid函数)
函数图像:
P(t)的值域为[0,1];利用此可以计算事件发生的概率,以便归类
ps:发生概率小于0.5时,属于类别0,反之属于类别1
,也就是说在整个过程中我们就是要求出回归系数 的值,则可以求出P(s)进而进行分类操作。
注意:有些朋友可能会说,要是我特征取值的区间[假设值[ [0-100]和[100-200] ],的怎么办,将函数向右平移100个单位就可以了,高中知识了。
具体求出回归系数 的过程:
首先我们先理解一个损失函数(Loss Function)
我们可以知道,损失函数用户衡量预测值与实际值的偏离程度,如果预测完全正确,则损失函数的数值为0,反之表示该预测结果的糟糕程度,这里我只写了常用于线性回归的平方损失函数(Square Loss)
PS: 是第i个真实值, 为第i个预测值
依次将边界方程作为参数代入逻辑函数,将得到的值代入平方损失函数,得到
也就是说我们只要求出最佳参数 的值,即可找到最佳拟合曲线,也就是使L的值最小
求曲线 的方法:
梯度下降法:
在stanford课程中的实例图,如下
上图是一个函数曲线,也可以看做是一座山。假设我们在随机的一个点,我们要找出一条以最快速度到达最低点,实现方法就是取一个步长a,在每一点我们进行微分(通俗来说找到最大下降斜率),使得每一步下降的方向总是局部最优的,
ps:沿各个方向的最大微分的向量表示
迭代公式
ps:更新的 的值的公式
通俗来说:就是我们想最快下这座山,在没有地图的情况下,我们总是沿着坡度最快的方向走(不考虑其他的情况),梯度下降法的做法是每走一步,看一步,但是达到的是局部最优点。利用这个我们就可以求出平方损失函数的 ,然后达到分类目的。
优化点:步长,迭代次数
参考:
首先感谢上面这位博客的作者,在理解该算法中得到了该篇博客很多的思路,要是在边界方程上面有不理解的地方,可以去看看这位的博客,真的很棒。
来源: http://lib.csdn.net/article/machinelearning/37685