2016 年的文章, SCI1 区, 提出了两阶段的算法. 第一个阶段使用 Sparse filtering, 无监督的方式提取出特征. 第二个阶段使用 softmax 回归进行分类. 可以实现更少的数据, 但更高的准确率. 对 Sparse filtering 的 weight 进行了可视化, 与 Gabor 滤波器进行拟合, 发现很相近.
Sparse filtering 和 Softmax regression
论文的核心就是这两步的算法, 分两个步骤讲解.
Sparse filtering
Sparse filtering 的思想来自于 NIPS2011 吴恩达组的文章, 是一种无监督的提取特征的算法. 与之相比较的无监督算法还有 ICA,Sparse Coding,Sparse Autoencoder. 具体见另一篇总结 sparse filtering 的文章.
Sparse filtering 可以实现非线性, 增加一个激活函数. 本文使用了下图的激活函数得到了特征.
Softmax Regression
结构图如下, 这里看出原文是对输入的样本再一次进行了切分, 对同一个 example 的输出结果进行的求和平均, 而不是 concatenate, 它们的实验证明求和平均效果更好.
下图是目标函数, 这里没有使用交叉熵.
其次, 这里对随机 segment 的样本进行了 whitening 的操作. 我参考了矩阵论 (张贤达) 里面的公式.
进行了白化之后的向量, 协方差矩阵为单位矩阵, 可以加速收敛的速度. 实验也证明了白化的作用.
可视化
PCA 降维
对学习到的特征 PCA 降维后的结果
对 Sparse filtering 的权重矩阵可视化
直观理解, W 矩阵和 X 输入相乘, 其实是 W 的每个行向量和 X 向量计算相似度(点积). 对行向量可视化. 然后用面的 Gabor 滤波器去拟合, 发现两者很接近. 下面三行是傅里叶变换之后的结果. Gabor 滤波器的公式引用自其它文献. 具体更多的理解看傅里叶变换的那篇文章, 收集了一些不错的解答. 拟合的结果说明了一定的物理意义. Gabor 滤波器接近于最优的特征提取滤波器.
来源: http://www.bubuko.com/infodetail-3061971.html