邓侃解读: DeepMind 如何教 AI 自主学会画画?
给你一幅油画, 问你是不是梵高风格, 这个问题很容易回答但是让你用文字描述, 什么是梵高风格, 却很难清晰地界定
如何让电脑自动模仿梵高油画? DeepMind 想了一个办法
1. 用强化学习算法, 像走迷宫那样, 在画布上涂抹颜色刚开始时, 不妨把强化学习算法设定为随机行走一通乱走, 直到把画布填满
2. 强化学习算法需要设定报酬函数, 评定算法的好坏, 然后反复调整算法参数, 使得报酬最大刚开始时, 随机涂鸦的作品, 当然离梵高风格差距很大差距越大, 报酬越低反复调整算法参数, 使之获得的报酬越来越高直到报酬不再增长, 训练过程结束
3. 设计一个报酬函数, 如果电脑的作品, 与梵高作品越相似, 那么报酬越高如何设计报酬函数呢? 一个办法是做一个分类器(classifier), 如果这个分类器, 能够轻而易举地辨别电脑的作品, 不是梵高油画, 那么报酬越低反之, 如果分类器傻傻分不清哪一幅是电脑作品, 哪一幅电脑作品, 那么说明电脑已经模仿得很像, 这时报酬很高
DeepMind 用这个算法, 教电脑模仿手写体数字, 教电脑画头像最后成像效果不错, 但是笔划顺序不对
原因是, 模仿的参照物是静态的图像, 而静态的图像不存在绘图的笔划顺序
这个现象引发三点思考:
1. 本质上来说, 让电脑绘图, 无非是确定图像中每个像素的值从这个意义上来说, 不需要笔划顺序因此, 填满像素的最佳算法, 应该不是强化学习这种强调顺序路径的算法
2. 但是人类作画时, 是很强调笔划顺序的倒笔画会有什么伤害? 常见的回答是, 容易把字写歪为什么倒笔画容易把字写歪? 是人类肌肉适合从上到下, 从左到右运动? 如果是这样, 电脑就无所谓倒笔画了
3. 梵高的油画, 中国的水墨, 是很强调笔触顺序的如何从静态的作品中, 识别笔触顺序, 然后把正确的顺序, 融入强化学习的报酬函数?
以下为 DeepMind 博客译文:
完全自学不需任何人类标注数据集
在人类的眼中, 世界并非只是我们眼角膜上呈现的图像比方说, 当我们观赏建筑时, 我们在赞叹其复杂设计的同时, 也能领会到建造建筑所需要的工艺人类可以通过工具来理解工具所创造出的物体, 这让我们可以更好地理解世界, 这种能力是人类智能非常重要的一面
我们希望我们的系统在观察世界时也可以生成同样丰富的表征例如, 当系统观察一幅绘画的图像时, 我们希望系统除了可以识别出屏幕上表示这幅画的像素外, 还可以理解作画时画笔的笔触
在本研究中, 我们为人工智能体 (artificial agents) 配置了用来生成图像的工具实验结果表明系统可以推理出生成数字文字和绘画的方法, 重要的是这些系统完全通过自学, 没有借助任何人类标记的数据集
来源: https://yq.aliyun.com/articles/573290