摘要: 本文讲述 Net-Trim:无性能损失的深度神经网络凸精简,修剪掉神经网络中 93% 的无用神经元,但能保证无任何性能损失。
在 2017 年神经信息处理系统大会(NIPS)中的一篇论文里,我和我的团队提出了一个叫做 Net-Trim 的 AI 优化框架,其使用逐层凸体系(layer-wise convex scheme)来精简预训练深度神经网络。
深度学习对许多 AI 应用来说已经成为了最佳选择,它的范围从影像识别到语言翻译。多亏了算法和计算能力的发展,我们现在可以通过训练更大型和更深层次的神经网络来提高 AI 的精确度。然而,由于资源消耗和存储使用量的增加,在硬件资源和功耗受限的嵌入式设备中配置这种模型是不切实际的。
克服这个挑战的一种可行性方法是,在不牺牲精确度的前提下降低模型的复杂度。该方案涉及到去除潜在的冗余数量,以达到使网络稀疏化。众所周知的 L1 正则法已经被广泛的用于高效的发现浅层网络稀化的解决方案,比如线性回归和逻辑回归。然而,这些技术在深度学习的应用中无用武之地,部分原因是与深度学习相关的损失函数是高度非凸性的,而优化算法无法找到一个既能保持稀化又能提供高精准度的有效方法。
来源: https://yq.aliyun.com/articles/292741