这是 CVPR2019 上 UCLA 和 google brain 的一个工作. 模型非常简单, 利用辅助损失解决 GAN 不稳定问题; 用旋转分类将辅助分类器对 label 的需求去掉, 使图片可以直接对自己标注类别.
Self-Supervised GANs via Auxiliary Rotation Loss
论文地址: https://arxiv.org/abs/1811.11212
GitHub 代码:
论文指出, GAN 模型的重要问题是不稳定 (instability, divergence, cyclic behavior, or model collapse). 判别器通常学习了一个分布的特征, 但后来的样本往往是不符合这个分布的, 如果放任不管会造成模型欠拟合. 为了提高模型的稳定性, 研究人员又提出了 CGAN, 生成器和判别器通过使用有标签的数据来记住之前的数据分布. 但是, CGAN 的主要不足在于该模型依赖于标注好的数据. 即使存在标注好的数据, 这些数据往往也是 sparse, 并且仅仅只包含了一小部分高层抽象信息.
作者举了两个例子来说明当前模型的问题 (判别器的遗忘问题), 在下图中, 蓝色虚线是当前的 GAN, 由于对模型分布记忆出现混乱, 导致准确率下降.
在下图中, 左侧表示 GAN 在每 1K 数据后换一次数据分布. 可以看到数据分布换了以后, 原始的 GAN 会存在较大的误差, 几乎又回到了原始未学习的状态.
于是, 作者提出了 self-supervised GAN (SS-GAN), 通过加入自监督能够有效的避免遗忘带来的不稳定. 作者受到《Unsupervised Representation Learning by Predicting Image Rotations》这篇文章的启发, 该方法使用的是基于图像旋转的自监督方法. 该方法将几何变换定义为 0,90,180,270 度的图像旋转, 为了让一个卷积网络能够识别图像中的旋转变换, 需要理解图像中描述的对象概念. 尽管这个自监督方法非常简单, 但是为特征学习提供了一个强大的替代监督信号.
SS-GAN 的整体架构如下图所示, 具体实现:
第一个判别器按照以前的方法, 输出 true/false 的判断结果;
第二个判别器倒数第二层输出, 作为特征, 加上线性分类器, 预测旋转的类型.
作者指出, SS-GAN 将对抗训练与自监督学习相结合, 实现了 CGAN 的优势, 而不需要任何标注数据. SS-GAN 实现了大规模无条件 ImageNet 图像生成, 这项目工作是向着高质量, 无监督的自然图像合成方向迈出的重要一步.
来源: http://www.bubuko.com/infodetail-3395824.html