小白深度学习入门系列
1. 直观理解深度学习基本概念
2. 白话详解 ROC 和 AUC
3. 什么是交叉熵
4. 神经网络的构成, 训练和算法
5. 深度学习的兴起: 从 NN 到 DNN
6. 异军突起的激活函数: ReLU
7. CNN,RNN,LSTM 都是什么?
8. 什么是 Transformer?
生成模型(Generative Model) vs 判别模型(Discriminant Model)
在讨论生成对抗网络之前, 我们需要先明确两个概念: 生成模型和判别模型.
所谓生成网络, 指构建生成模型的神经网络; 同理判别网络则是构建判别模型的神经网络.
机器学习 / 深度学习模型所的一个主要任务就是: 根据事物的属性 (X) 预测事物的标记(Y). 生成模型和判别模型, 都能完成这个任务, 但具体方法不同.
生成式模型会求取 X 和不同的 Y 之间的联合概率: P(Y1,X),P(Y2,X),P(Y2,X),..., P(Yn,X), 然后选取其中与 X 联合概率最大的那个 Yi, 将其作为预测结果.
判别式模型来则会求以 X 为条件的 Y 的条件概率: P(Y|X), 针对特定 X 直接得出 P(Y|X)的结果, 如果这个值大于某个阈值, 则可以直接将其作为预测结果.
生成对抗网络(Generative Adversarial Networks,GAN)
那么, 什么是生成对抗网络呢?
简单而言, 生成对抗网络 是一种无监督学习方法 , 该方法由 Goodfellow 等人在 2014 年提出.
这 个方法 通过两个网络 -- 一个是生成网络, 另一个是判别网络 -- 的相互制约来实现训练过程.
生成对抗网络中的生成网络 G 和判别网络 D 分别好像是假币团伙和警察 --G 努力使假币和真币更接近, 而 D 则努力把假币从真币中区分出来.
通过 G 和 D 的对抗, 最终使得两者的模型准确度都得到提升.
生成对抗网络结构
下图是一个以手写数字生成为目标的原始的 GAN 网络结构, 可以它由 Generator 生成器和 Discriminator 判别器组成.
生成器用于从噪音中生成一幅手写数字的图片, 而判别器则努力将训练集图片和生成器生成的假图片区分开来.
可以证明, 当网络的能力足够的时候, 生成器最终会生成和训练集特征相同的图像. 具体的训练步骤如下(来自原论文中伪代码):
- for num_of_training_iterations:
- for k_steps: #k 在这里是超参数, 代表每个迭代对判别器做几次优化
从训练集中随机选取 m 幅图像
随机选取(生成)m 个噪声图片
更新判别器参数(普通神经网络训练过程, 例如交叉熵误差函数和随机梯度下降)
随机选取 m 个噪声图片
更新生成器参数
其实在 GAN 的论文中主要是提出了利用生成器和判别器相互制约的思路, 而非详细的模型结构. 上面的训练方法只是一种示例方法, 生成器和判别器也不必是申请网络.
生成对抗网络的优势和劣势
GAN 的优势和劣势总结如下:
CONs:
网络自由度太高, 训练难度大
两个模型是分开更新的, 所以带来了两个模型之间的同步问题. 如果一个模型训练的过快, 会影响另一个模型的训练.
PROs:
只使用反向传播即可完成训练, 不使用何马尔可夫链来训练.
GAN 可以和大部分现有的生成网络算法相结合使用, 提高性能.
从实际应用中, 模型难以训练是困扰很多研究人员最大的问题. 不过在提出 GAN 的论文发布 (2014 年) 以来, 大量 GAN 改进方法被提出, 较好的解决了 GAN 中存在的问题, 使得图像生成任务达到了可以商业应用的成熟度.
生成对抗网络主要应用举例
前面说了生成对抗网络. 经过几年的研究已经比较成熟, 可以进行商业应用. 下面就列举了几个比较有名的开源应用案例:
zi2zi: 一个变换中文字体的应用, 基于 pix2pix
iGAN: 我管他叫神笔马良, 一个 adobe 和伯克利联合发布的图像增强网络, 能从简笔画生成一个真实度很高的图像.
domain-transfer-network: 感觉和 CNN 中的风格迁移类似, 实现的功能类似脸萌, 可以从真实头像生成卡通头像
neural-enhance: 将低分辨率图像处理成高分辨率图像, 以后各种游戏炒冷饭, 电影重制版的成本可以大大降低了....
deepfake: 前一阵引起轩然大波的现象级应用, 可以给视频换脸, 应用场景很多
类似的应用还有很多, 而且也达到了不错的效果. 个人感觉 GAN 真的是一个很有钱途的领域.
"众智汇" 愿景
尽职尽才, 允公允能 -- 本社群不定期举行线上分享, 组织群友分享知识, 经验, 资源, 以达到 让我们每个人的职业生涯得到最大程度的发展 的目的 .
欢迎扫面下列二维码关注 "悦思悦读" 公众微信号
来源: http://www.tuicool.com/articles/67vmEnN