今天早晨, ICLR 2018 的论文接受结果揭晓, 我们就带大家来大致了解一下今年 ICLR 2018 的论文接受概况.
ICLR 全称 International Conference of Learning Representation, 是由 Lecun,Hinton 和 Bengio 三位神经网络的元老联手发起的. 近年来随着深度学习在工程实践中的成功, ICLR 会议也在短短的几年中发展成为了神经网络的顶会.
论文接受率:
2.3% 的口头展示, 31.4% 的 poster 接受, 9% 的 workshop,51% 拒绝.
ICLR 口头展示论文速览:
ICLR 口头论文中一大半的论文会成为 ICLR Best paper, 同时也代表了 2018 年的研究方向, 下面我们就简单的介绍一下今年的 oral 论文, 由于 ICLR 会议的论文范围较广, 方向比较新, 我们也不能够做到面面俱到.
Wasserstein Auto-Encoders (Max Planck Institute)
这篇论文提出了在 Variation Auto-Encoder 中使用 Wasserstein 距离进行度量, 从而第一次让 VAE 能够产生跟 Generative Adversarial Network 比肩的效果. 并且 WAE 在理论上面联系了 VAE 和 GAN. 是一篇不可多得理论与实践兼得的好论文. WAE 产生的图像如下图:
Spherical CNNs (阿姆斯特丹大学 Max Welling 组)
卷积神经网络只能够在 2D planar 图像中使用, 但是近年来很多问题如机器人运动, 自动驾驶需要对 spherical image 进行分析. 传统的方法是将 spherical image 投影到 2D planar 图像, 但是这个过程会产生 distortion, 如下图:
于是作者提出了 spherical CNN.Spherical CNN 通过傅立叶变换来避免过度的计算. 通过傅立叶变换来实现 spherical CNN 的示意图如下:
相信本篇论文提出的 spherical CNN 能够在自动驾驶, 机器人运动的任务中得到广泛的应用.
Boosting Dilated Convolution with Mixed Tensor Decomposition
本篇论文通过 tensor decomposition 的角度来分析神经网络, 并且提出了 mix tensor decomposition 的方法来提高神经网络的表达能力. 作者在实践中使用了 mix dilation 的办法来进行 mix tensor decomposition. 结构图如下:
两个对偶的网络 weight sharing, 仅仅通过 dilation 的变化就可以得到不同的连接, 提高神经网络的 expressive efficiency.
本篇论文的理论分析详尽, 并且论文讲述简单易懂, 美中不足的是实验部分太弱, 但是也不影响该论文被接受为 oral.
Ask the right questions:active question reformulation with reinforcement learning(Google)
这篇论文提出了一个做 question answering 的新的思路, 通过 question reformulation 将一个问题转换成类似的问题, 然后反复的选择最佳问题. Question reformulation 和 answer selection 通过强化学习进行训练. 流程图如下:
ICLR 趣闻
由于 ICLR 的审稿意见是公开的, 所以我们可以看到作者和审阅者之间的思想碰撞, 下面我们就介绍一些有趣的事情.
Mix-up vs "Data Augmentation by paring samples for images classification"
这两篇论文提出了类似的方法, 通过将数据库的图像的线形组合来做 Data Augmentation, 并且在 CIFAR,IMAGENET 上面都取得了好的结果, 但是 Mix-up 被接受, paring samples 被拒绝.
Matrix capsules with EM routing
这篇论文是神经网络之父的 CapsuleNet 的后续, 也被 ICLR 接受了, Geoffrey Hinton 是该论文的第一作者.
Progressive Growing of GANs
这篇论文是 NVIDIA 提出的使用 GAN 生成 high resolution image 的论文, 由于在论文中违反了 double blind 原则, 在 review 阶段被拒绝 (strong reject), 但是由于其 amazing 的结果, 在最后阶段被 ICLR 接收.
附上大会及相关链接, 感兴趣的读者可以自行查看:
ICLR 2018 会议链接:
https://openreview.net/group?id=ICLR.cc/2018/Conference
论文链接:
Ask the right question:
https://openreview.net/pdf?id=S1CChZ-CZ
Wasserstein Auto-Encoders:
https://openreview.net/pdf?id=HkL7n1-0b
Spherical CNNs:
https://openreview.net/pdf?id=Hkbd5xZRb
来源: https://yq.aliyun.com/articles/412202