0 绪论
给定一个网络结构(层数以及每层的神经元个数), 根据参数取不同的值形成不同的函数. 换句话说, 给定了一个网络结构, 即定义了一个函数集合.
给定一个目标函数 \(f(x)=2(2\cos^2(x)-1)^2-1\), 现在想用一个神经网络来拟合这个函数 (根据目标函数采集对应的多组 \((x,y=f(x))\) 对形成训练数据来训练神经网络).
从图 0-1 中可以看出, 随着神经元个数 / 参数数目 (参数数目与神经元个数成正比) 的增多, 拟合的效果越来越好.
从横向看, 达到同样的拟合效果, 越深的网络结构需要参数的数目越少;
从纵向看, 同样的参数数目下, 越深的网络结构达到的拟合效果越好.
接下来假设输入 X 为标量, 且取值属于[0,1], 输出 Y 也为标量, 隐藏层激活函数均为 ReLU.
如图 0-2 所示, 接下来只讨论 3 个主要的问题: 1. 浅层结构能够拟合任意函数吗? 2. 为什么需要深层结构呢? 3. 浅层结构和深层结构的区别是什么?
至于优化问题不讨论, 即只要函数集能够覆盖目标函数, 我们就假设能够拟合, 不管选择的优化方法之间的区别;
至于泛化问题也不讨论, 即只考虑基于训练集数据上表现的拟合, 不考虑测试集上的表现.
1 浅层结构能够拟合任意函数吗?
答案是能, 只要增加神经元个数, 最终一定可以拟合目标函数.
给定一个浅层网络结构(只有一层隐藏层), 隐藏层的激活函数为 ReLU, 以及线性输出层.
如图 1-1 所示, 很明显, 这个浅层网络定义了一个分段线性函数集合.
现给定一个满足 L-Lipschitz 条件的目标函数 \(f^\ast\), 需要多少个神经元才能够拟合这个目标函数呢?
什么是 L-Lipschitz?
如图 1-2 所示, 即因变量变化的绝对值不超过自变量变化的绝对值的 L 倍. 显然, 图 1-2 中蓝色线段不满足 1-Lipschitz 条件.
1.1 如何保证拟合?
当然, 最大误差不超过 \(\epsilon\)也可以改为两条曲线在 [0,1] 间面积不超过 \(\epsilon\).
如图 1.1-3 所示, 满足图 1.1-2 中蓝色方框里上面的条件的话, 下面的条件也会自动被满足.
所以现在的问题是使用 \(N(k)\)这个分段线性函数集合中的某个函数 \(f\)来拟合目标函数 \(f^\ast\), 那么 \(f\)是如何分段使得最大误差不超过 \(\epsilon\)的呢?
1.2 如何定义满足条件的分段?
假设每段的长度都是 \(l\).
如图 1.2-1 所示, 因为最大误差点和分段点之间的距离是不超过 \(l\)的, 任意两点间的斜率又是不超过 \(L\)的, 所以最大误差不超过 \(l{\times}L\).
所以可以通过使得 \(l{\times}L\le\epsilon\)来保证最大误差不超过 \(\epsilon\), 则 \(l\le\frac{\epsilon}{L}\), 即至少要分 \(\frac{L}{\epsilon}\)段.
1.3 如何实现这样的分段?
通过多个神经元结果的叠加.
绿线可以由蓝线叠加生成, 每条蓝线需要 2 个神经元结果叠加形成.
所以, 要分成 \(\frac{L}{\epsilon}\)段可以通过使用 \(\frac{2L}{\epsilon}\)个神经元来实现.
需要注意的是, 这里是指需要这么多个神经元可以做到这样的分段方式, 并没有指这样子做是最有效率的做法.
当 L 取任意值时, 浅层网络结构可以通过调整神经元个数来拟合对应的目标函数, 可见浅层结构可以拟合任意函数, 那么为什么需要深层结构呢?
2 为什么需要深层结构?
虽然浅层结构可以拟合任何 function, 但其所需神经元个数可能为 \(O(\frac{L}{\epsilon})\), 深层结构的使用可以使其变得更有效率.
举例说, 任何演算法都可以用 2 行程式写出来. 如排序, 穷举所有排序前可能的字符串作为 key, 其对应的排序结果作为 value 构建查询表.
程式第 1 行根据给定输入查表得对应索引, 程式第 2 行输出该索引对应的 value 值作为最终的结果.------2 步对应 shallow
但是, 在实际实现排序时, 我们并不会这样做, 会进行更多的其他步骤, 为了实现上更有效率.------ 多步对应 deep
上面已经讨论过, ReLU 网络 (激活函数均为 ReLU 的网络结构) 可以表示分段线性函数.
在差不多数目的参数下, 深且窄的 ReLU 网络比起浅且宽的 ReLU 网络能实现更多的分段.
2.1 线性分段数的上界是多少?
定义神经元个数为 \(N\), 对应的最大激活模式为 \(2^N\)种, 每一种激活模式对应一个线性分段, 所以最大线性分段数为 \(2^N\)个.
但是, 不是所有的分段方式都是会出现的. 比如图 2.1-2 中 2 个神经元, 最多只会出现 3 个分段.
2.2 线性分段数的下界是多少?
如何定义绝对值激活函数?
如图 2.2-1 所示, 可以用 2 个 ReLU 神经元实现绝对值激活函数功能.
绝对值激活函数进行深度上的堆积, 每次多加一个节点, 分段数变为原来的 2 倍.
从图 2.2-4 中可以看出, 对于浅层网络结构, 每次多加一个节点(宽度方向上), 分段数加 1; 对于深层网络结构, 每次多加一个节点(深度方向上), 分段数乘以 2.
当网络结构宽度为 K, 深度为 H 时, 我们至少可以有 \(K^H\)个分段数.
可见深度对于分段数的影响要明显高于宽度, 因为深度方向的堆积使得同样的 pattern 可以被反复利用.
下图的实验结果验证了上述观点, 同时显现较低层参数对于网络的表现有更大的影响.
2.3 深层结构可以比浅层结构好多少?
如上图所证, 拟合函数 \(f(x)=x^2\)时, shallow 网络结构所需的神经元个数为 \(O(\frac{1}{\sqrt{\epsilon}})\).
如上图所证, 拟合函数 \(f(x)=x^2\)时, deep 网络结构所需神经元个数为 \(O(log_2\frac{1}{\sqrt{\epsilon}})\).
函数 \(y=x^2\)是否具有一般性?
具有, 因为可以用拟合函数 \(y=x^2\)的网络结构作为 square net 去形成 multiply net 继而形成 polynomial net, 就可以用这个多项式网络去拟合其他连续函数了.
2.4 深层结构确实优于浅层结构吗?
目前证明这一点的力量还不足够, 因为上述讨论都是基于存在的某种状态, 并不清楚这种状态是否是最佳状态.
3 深层结构优于浅层结构吗?
为了求得浅层网络在竭尽全力的状态下拟合函数 \(f(x)=x^2\)所需的神经元个数, 可以放宽各种条件.
首先, 假设相邻黑线之间的头尾无需相接.
如图 3-1 所示, 左边是可以用 ReLU 实现的, 右边没法通过 ReLU 实现. 因为 ReLU 无法生成非连续的线.
先假设右边可以实现, 因为其对应的 error 明显更小, 称这种状态为梦幻状态.
再来, 原来拟合的条件是最大 error 不超过 \(\epsilon\), 满足该条件一定满足面积的近似不超过 error 的条件, 但满足后者不一定满足前者.
现放宽限制条件, 变为面积的近似不超过 error 就好.
现在考虑给定一个分段, 最小的 error 是多少呢?
答案是 \(\frac{l^5}{180}\), 证明思路如图 3-3 所示.
如果分段数确定为 n, 如何分段使得 error 最小呢?
直觉是等分 n 段, 证明可以参考图 3-5.
即使浅层网络结构竭尽全力, 其所需的神经元个数还是 \(O(\frac{1}{\sqrt{\epsilon}})\), 而深层网络结构在随意设计的某种状态下所需的神经元个数为 \(O(log_2\frac{1}{\sqrt{\epsilon}})\),
可见, 深层网络结构确实好于浅层网络结构, 且好的程度是指数级的.
4 更多相关理论
来源: https://www.cnblogs.com/cherrychenlee/p/8890175.html