分类任务中的目标函数
目标函数, 亦称损失函数或代价函数, 是整个网络模型的指挥棒, 通过样本的预测结果与真实标记产生的误差来反向传播指导网络参数学习和表示学习.
假设某分类任务共 N 个训练样本, 针对网络最后分类层第 i 个样本的输入特征为 xi, 其对应的真实标记为 yi∈{1,2,...,C}, 另 h=(h1,h2,...,hC)? 为网络的最终输出, 即样本 i 的预测结果, 其中 C 为分类任务类别数.
交叉熵损失函数
交叉熵损失函数又称为 Softmax 损失函数, 是目前卷积神经网络中最常用的分类目标函数, softmax 用于多分类过程中, 它将多个神经元的输出, 映射到 (0,1) 区间内, 可以看成概率来理解, 从而来进行多分类!
其形式为:
它能将一个含任意实数的 K 维向量 z "压缩" 到另一个 K 维实向量 σ ( z ) 中, 使得每一个元素的范围都在( 0 , 1 ) 之间, 并且所有元素的和为 1.
例如: 输入向量[ 1 , 2 , 3 , 4 , 1 , 2 , 3 ] 对应的 Softmax 函数的值为[ 0.024 , 0.064 , 0.175 , 0.475 , 0.024 , 0.064 , 0.175 . 输出向量中拥有最大权重的项对应着输入向量中的最大值 "4". 这也显示了这个函数通常的意义:
对向量进行归一化, 凸显其中最大的值并抑制远低于最大值的其他分量.
更多: 关于交叉熵的推导及理解, 可以查看 https://www.zhihu.com/question/23765351.
来源: http://www.bubuko.com/infodetail-2949094.html