这一节主要介绍的是决策界限 (decision boundary) 的概念, 这个概念可以帮组我们更好地理解逻辑回归的假设函数在计算什么.
首先回忆一下上次写的公式.
现在让我们进一步了解这个假设函数在什么时候会将 y 预测为 1, 什么时候会将 y 预测为 0. 并且更好地理解假设函数的形状, 特别是当我们的数据有多个特征值时. 具体地说, 这个假设函数输出的是给定 x 和参数θ时, y=1 的估计概率.
所以, 如果我们想预测 y=1 还是等于 0. 该假设函数输出 y=1 的概率大于等于 0.5, 此时预测的为 y=1, 小于 0.5 预测的就是 y=0.(实际上, 当输出概率为 0.5 时, 可以预测为 y=1, 也可以预测为 y=0)
仔细观察 sigmoid 函数图像, 就可以发现只要 z≥ 0,g(z)就大于等于 0.5, 因此在曲线图的右半边, g 的取值都是大于等于 0.5 的.
由于逻辑回归的假设函数 hθ(x)=g(θTx), 所以只要θTx≥ 0, 那么 hθ(x)就会大于等于 0.5, 此时假设函数将会预测为 y=1. 同样, 我们考虑假设函数预测为 y=0 的情况. 当 hθ(x)< 0.5 的时候, 就会预测 y=0. 而只要θTx< 0, 那么 g(θTx)就会小于 0.5, 即 hθ(x)就会小于 0.5.
对上述做个小结:
1. 我们预测 y=0 还是 y=1 取决于输出的概率值.(概率大于等于 0.5 预测 y=1, 小于 0.5 预测 y=0)
2. 想要预测结果为 y=1, 就要保证θTx≥ 于 0; 想要预测结果为 y=0, 就要保证θTx< 0.
接下来, 假设我们有一个训练集. 我们的假设函数是 hθ(x)=g(θ0+θ1x1+θ2x2), 我们将在下一节讨论如何拟合此模型中的参数, 此时假设我们已经拟合好了参数. 在这里, 我们选这里θ0=-3,θ1=1,θ2=1. 这意味着此时的参数向量θ=[-3,1,1]T. 接下来, 尝试找出该假设函数何时将预测 y=1, 何时将预测 y=0.
根据之前小结的, y=1 的概率大于等于 0.5 时, 就预测 y=1, 小于 0.5 时就预测 y=0. 换句话说就是: 想要预测结果为 y=1, 就要保证θTx≥ 0; 想要预测结果为 y=0, 就要保证θTx< 0. 而在这个例子中θTx 就是 - 3+x1+x2. 所以, 在这个例子中, 只要 -3+x1+x2≥ 0, 那么预测的就会是 y=1,-3+x1+x2< 0, 那么预测的就会是 y=0. 当然也可以将 -3+x1+x2≥ 0 改写为 x1+x2≥ 3.
接下来我们可以在图像上观察这个式子.
图上洋红色的直线为 x1+x2= 3 . 该线上方的区域为预测 y=1 的区域, 下方区域为预测 y=0 的区域. 这条线被称为决策边界. 具体地说, x1+x2= 3 这条直线对应的一系列的点对应的是 hθ(x)=0.5 的点. 决策边界将整个平面分成了两个部分. 一部分区域预测 y=1, 另一部分预测 y=0.
决策边界是假设函数的一个属性, 它包括参数θ0,θ1 和θ2. 在上图中, 是画了训练的数据集的. 需要明确的是: 即使没有画出数据集, 只要参数给定, 这条决策边界以及两部分区域都是确定的. 它们都是假设函数的属性, 取决于参数, 而不是取决于数据集.
接下来, 我们看一个更复杂的例子. 在图中 x 表示的是正样本, 圆圈表示的是负样本.
现在的问题是: 当给定一个这样的数据集之后, 我们要如何使用逻辑回归来拟合这些数据.
之前, 当我们讲解多项式回归或线性回归时, 我们谈到了可以在特征中添加额外的高阶多项式项. 同样的, 我们也可以对逻辑回归使用同样的方法. 具体地说, 假设现在的假设函数是 hθ(x)=g(θ0+θ1x1+θ2x2+θ3x12+θ4x22). 现在添加了两个额外的特征 x12 和 22, 所以现在有五个参数, 从θ0 一直到θ4. 现在假设θ0=-1,θ1=0,θ2=0,θ3=1,θ4=1. 这意味着此时的参数向量θ=[-1,0,0,1,1]T. 根据之前的讨论, 这意味着当 - 1+x12+22≥ 0 时, 将预测 y=1, 当 - 1+x12+22< 0 时, 将预测 y=0. 同样的,-1+x12+22≥ 0 可以写成 x12+22≥ 1. 此时的决策边界就为 x12+22= 1.
决策边界如图所示. 此时圈外的区域为预测 y=1 的区域, 圈内的区域为预测 y=0 的区域.
通过在特征中增加这些复杂的多项式, 可以得到更复杂的决策边界.
再次强调:
决策边界不是训练集的属性, 是假设本身和其参数的属性. 只要给定了参数向量θ, 决策边界就可以确定. 我们不是用训练集来确定决策边界, 而是用训练集来拟合参数.
当我们有更高阶多项式, 我们得到的决策边界也是更复杂的. 逻辑回归可以用于寻找决策边界.
来源: https://www.cnblogs.com/shirleyya/p/13306723.html