论文部分内容阅读
最近,抖音平台新上线了“变身漫画”特效,它能将抖音视频用户的现实形象瞬间转变成二次元漫画形象。那么,这种能够“动起来”的二次元滤镜,背后隐藏了怎样的黑科技呢?
首先,我们来认识一个新名词——生成式对抗网络。作为一种深度学习模型,生成式对抗网络首次出现于前“谷歌大脑”科学家伊恩·古德费洛及其团队发表的论文中,是机器学习中的新概念。通过生成式对抗网络,我们可以将用户的现实形象瞬间转换为二次元漫画形象。
机器学习的模型分为生成模型和判别模型两种,顾名思义,其各自的功能分别是根據数据集来生成和判别模型。它们通过对抗过程估计生成模型的新框架,即将生成模型与判别模型放在一个矛盾的局面中,让两者进行对抗,生成模型要尽可能地生成真实的图片去欺骗判别模型。与此同时,判别模型要尽量把生成模型生成的图片和原数据集区分开。
在这个过程中,生成网络就像是一个画画的小孩,而判别网络就像是一个严格的美术老师,负责给小孩的作品打分。判别网络的任务其实很简单,就是区分真假。何为真?自然拍摄的图片就是真,而人工合成的图片便是“假”。
首先,生成网络会产生一批假数据,对判别网络进行训练,刚开始生成的假数据很粗糙,肯定无法通过,所以判别网络只需要具备初步的识别能力就可以鉴定出来,这算是一个“菜鸡互啄”的阶段。然后,当判别网络有了进步,生成网络也要迎头赶上,再对生成网络进行训练,目标是生成更加拟真的数据,骗过当前的判别网络。这些新的数据又用来训练判别网络,自己生产,自己消化,如此循环,互相博弈。
通过这种训练,两个网络的能力都得到了提升。如同武侠小说里的“梯云纵”,左脚踩右脚,右脚踩左脚,武功高强的大侠就能飞檐走壁。训练完成之后,判别网络作为“工具人”就可以暂时休息了,留下生成网络用以产生图像。所以,这种机器之间自发的相互学习,可以说是非常智能了。
而生成式对抗网络的种类也不少,其中最常见的如Cycle生成式对抗网络。这套算法就是隐藏美图软件滤镜后的幕后功臣,“LOMO风格”“甜美日系”“黑白简笔”“美白磨皮”都靠它才能一键搞定,完成瞬间“变身”。
不过,次元壁不是那么容易打破的,因为真实人脸和卡通人脸之间的结构差别太大,这两个域的几何结构彼此非常不同,从而导致严重的失真和视觉伪影。所以,要想把手机拍摄的真人视觉形象转化为相似的二次元纸片人,就要解决这个问题。这时,便需要运用Cycle生成式对抗网络特别版——面部特征辅助版Cycle生成式对抗网络。
面部特征辅助版Cycle生成式对抗网络能用不成对的训练数据将真实面孔转换为卡通面孔,这时,AI就能根据真实用户人脸“画”出相应的卡通形象了。简单地说,它的训练机制就是:首先,每当Cycle生成式对抗网络提供一张人脸图像,它就对脸部的关键点进行标记,根据这些标记点生成最初的卡通形象;其次,把这些标记输入判别网络,启动Cycle生成式对抗网络中两个图像生成网络,让卡通形象和人脸形象之间不断地互相识别,反映到屏幕上;最后,你就能看到一个和自己酷似的、惟妙惟肖的二次元形象了。
首先,我们来认识一个新名词——生成式对抗网络。作为一种深度学习模型,生成式对抗网络首次出现于前“谷歌大脑”科学家伊恩·古德费洛及其团队发表的论文中,是机器学习中的新概念。通过生成式对抗网络,我们可以将用户的现实形象瞬间转换为二次元漫画形象。
机器学习的模型分为生成模型和判别模型两种,顾名思义,其各自的功能分别是根據数据集来生成和判别模型。它们通过对抗过程估计生成模型的新框架,即将生成模型与判别模型放在一个矛盾的局面中,让两者进行对抗,生成模型要尽可能地生成真实的图片去欺骗判别模型。与此同时,判别模型要尽量把生成模型生成的图片和原数据集区分开。
在这个过程中,生成网络就像是一个画画的小孩,而判别网络就像是一个严格的美术老师,负责给小孩的作品打分。判别网络的任务其实很简单,就是区分真假。何为真?自然拍摄的图片就是真,而人工合成的图片便是“假”。
首先,生成网络会产生一批假数据,对判别网络进行训练,刚开始生成的假数据很粗糙,肯定无法通过,所以判别网络只需要具备初步的识别能力就可以鉴定出来,这算是一个“菜鸡互啄”的阶段。然后,当判别网络有了进步,生成网络也要迎头赶上,再对生成网络进行训练,目标是生成更加拟真的数据,骗过当前的判别网络。这些新的数据又用来训练判别网络,自己生产,自己消化,如此循环,互相博弈。
通过这种训练,两个网络的能力都得到了提升。如同武侠小说里的“梯云纵”,左脚踩右脚,右脚踩左脚,武功高强的大侠就能飞檐走壁。训练完成之后,判别网络作为“工具人”就可以暂时休息了,留下生成网络用以产生图像。所以,这种机器之间自发的相互学习,可以说是非常智能了。
而生成式对抗网络的种类也不少,其中最常见的如Cycle生成式对抗网络。这套算法就是隐藏美图软件滤镜后的幕后功臣,“LOMO风格”“甜美日系”“黑白简笔”“美白磨皮”都靠它才能一键搞定,完成瞬间“变身”。
不过,次元壁不是那么容易打破的,因为真实人脸和卡通人脸之间的结构差别太大,这两个域的几何结构彼此非常不同,从而导致严重的失真和视觉伪影。所以,要想把手机拍摄的真人视觉形象转化为相似的二次元纸片人,就要解决这个问题。这时,便需要运用Cycle生成式对抗网络特别版——面部特征辅助版Cycle生成式对抗网络。
面部特征辅助版Cycle生成式对抗网络能用不成对的训练数据将真实面孔转换为卡通面孔,这时,AI就能根据真实用户人脸“画”出相应的卡通形象了。简单地说,它的训练机制就是:首先,每当Cycle生成式对抗网络提供一张人脸图像,它就对脸部的关键点进行标记,根据这些标记点生成最初的卡通形象;其次,把这些标记输入判别网络,启动Cycle生成式对抗网络中两个图像生成网络,让卡通形象和人脸形象之间不断地互相识别,反映到屏幕上;最后,你就能看到一个和自己酷似的、惟妙惟肖的二次元形象了。