今天郭江师兄在实验室讲解了全体机器学习会第一章的知识,大家讨论了一下过拟合的知识,这里我根据自己的理解,整理了一下原因,力求同最通俗的语言来描述,可能不是太严谨,但是总体思想能保证正确!
一、过拟合的概念?
首先我们来解释一下过拟合的概念?
我们将上图 第三个模型 解释为出现了过拟合现象, 过度的拟合了训练数据 ,而没有考虑到泛化能力。 在训练集上的准确率和在开发集上的准确率画在一个图上如下 :
二、模型出现过拟合现象的原因
发生过拟合的主要原因可以有以下三点:
(1)数据有噪声
(2)训练数据不足,有限的训练数据
(3)训练模型过度导致模型非常复杂
下面我将分别解释这三种情况(这里按自己的理解解释,欢迎大家交流):
为什么数据有噪声,就可能导致模型出现过拟合现象呢?
那好,假设我们的总体数据如下图所示:
此时我们得到的部分数据,还有噪声的话,如图所示:
(红色数据点为噪声)
那么由上面训练数据点训练出来的模型肯定不是线性模型( 总体数据分布下满足的标准模型 ),比如训练出来的模型如下:
(2)训练数据不足,有限的训练数据
当我们训练数据不足的时候,即使得到的训练数据没有噪声,训练出来的模型也可能产生过拟合现象,解释如下:
假设我们的总体数据分布如下:
我们得到的训练数据由于是有限的,比如是下面这个:
(我只得到了 A,B 两个训练数据)
(3)训练模型过度导致模型非常复杂
训练模型过度导致模型非常复杂,也会导致过拟合现象!这点和第一点俩点原因结合起来其实非常好理解,当我们在训练数据训练的时候,如果训练过度,导致完全拟合了训练数据的话,得到的模型不一定是可靠的。
好了,到这里本文要讲的内容已经讲完了,我根据自己的理解,试图通俗的讲解产生过拟合的原因,希望能够让更多的人有一个直观的理解~ 真心希望对大家有帮助,欢迎大家指错交流~
雷锋网 (公众号:雷锋网) 按:本文原作者 忆臻 ,原载于作者的 知乎专栏 。
20年清华大学神经网络授课导师,带你系统学习人工智能之神经网络!
一站式深入了解深度学习的发展现状、基本原理和主要方法。
课程链接:http://www.mooc.ai/course/65
雷锋网版权文章,未经授权禁止转载。详情见 转载须知 。
来源: http://www.tuicool.com/articles/qy22aqZ