看我一秒变身漫画人

来源 :知识窗 | 被引量 : 0次 | 上传用户:zwj1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  最近,抖音平台新上线了“变身漫画”特效,它能将抖音视频用户的现实形象瞬间转变成二次元漫画形象。那么,这种能够“动起来”的二次元滤镜,背后隐藏了怎样的黑科技呢?
  首先,我们来认识一个新名词——生成式对抗网络。作为一种深度学习模型,生成式对抗网络首次出现于前“谷歌大脑”科学家伊恩·古德费洛及其团队发表的论文中,是机器学习中的新概念。通过生成式对抗网络,我们可以将用户的现实形象瞬间转换为二次元漫画形象。
  机器学习的模型分为生成模型和判别模型两种,顾名思义,其各自的功能分别是根據数据集来生成和判别模型。它们通过对抗过程估计生成模型的新框架,即将生成模型与判别模型放在一个矛盾的局面中,让两者进行对抗,生成模型要尽可能地生成真实的图片去欺骗判别模型。与此同时,判别模型要尽量把生成模型生成的图片和原数据集区分开。
  在这个过程中,生成网络就像是一个画画的小孩,而判别网络就像是一个严格的美术老师,负责给小孩的作品打分。判别网络的任务其实很简单,就是区分真假。何为真?自然拍摄的图片就是真,而人工合成的图片便是“假”。
  首先,生成网络会产生一批假数据,对判别网络进行训练,刚开始生成的假数据很粗糙,肯定无法通过,所以判别网络只需要具备初步的识别能力就可以鉴定出来,这算是一个“菜鸡互啄”的阶段。然后,当判别网络有了进步,生成网络也要迎头赶上,再对生成网络进行训练,目标是生成更加拟真的数据,骗过当前的判别网络。这些新的数据又用来训练判别网络,自己生产,自己消化,如此循环,互相博弈。
  通过这种训练,两个网络的能力都得到了提升。如同武侠小说里的“梯云纵”,左脚踩右脚,右脚踩左脚,武功高强的大侠就能飞檐走壁。训练完成之后,判别网络作为“工具人”就可以暂时休息了,留下生成网络用以产生图像。所以,这种机器之间自发的相互学习,可以说是非常智能了。
  而生成式对抗网络的种类也不少,其中最常见的如Cycle生成式对抗网络。这套算法就是隐藏美图软件滤镜后的幕后功臣,“LOMO风格”“甜美日系”“黑白简笔”“美白磨皮”都靠它才能一键搞定,完成瞬间“变身”。
  不过,次元壁不是那么容易打破的,因为真实人脸和卡通人脸之间的结构差别太大,这两个域的几何结构彼此非常不同,从而导致严重的失真和视觉伪影。所以,要想把手机拍摄的真人视觉形象转化为相似的二次元纸片人,就要解决这个问题。这时,便需要运用Cycle生成式对抗网络特别版——面部特征辅助版Cycle生成式对抗网络。
  面部特征辅助版Cycle生成式对抗网络能用不成对的训练数据将真实面孔转换为卡通面孔,这时,AI就能根据真实用户人脸“画”出相应的卡通形象了。简单地说,它的训练机制就是:首先,每当Cycle生成式对抗网络提供一张人脸图像,它就对脸部的关键点进行标记,根据这些标记点生成最初的卡通形象;其次,把这些标记输入判别网络,启动Cycle生成式对抗网络中两个图像生成网络,让卡通形象和人脸形象之间不断地互相识别,反映到屏幕上;最后,你就能看到一个和自己酷似的、惟妙惟肖的二次元形象了。
其他文献
“这是一个具备魔力的国度。它的炎热,它的苍翠田野,碧绿深海,喧嚣街市,眼睛明亮、笑容坚韧的女人们。”  对越南的憧憬源自于年少时看过的电影和书。十几岁的少女第一次看完电影《情人》后,再也无法忘记女主角在每一个炎热的热带午后,慵懒而妩媚地趴在港口栏杆上的画面。与此同时,那个充满热带风情,饱受历史眷顾的神秘东南亚国度,也一同被镶嵌进少女对远方的憧憬里。第一日  坐在从南宁驶向河内的客车上,你的脑海像放
科幻电影《星际穿越》中,男主人公库伯掉入黑洞的那一幕给人留下了非常深刻的印象。库伯掉入黑洞时,从远处看黑洞就是一个球体。从他的视角来看,他越是向下降落,黑洞的表面就越向上弯曲,直到他头顶只剩下一小片天空,最终黑洞表面在头顶合并、封闭,他完全陷入了一个漆黑的世界。很多看过电影的人都在问:“掉进黑洞后真的会像电影里演的这样吗?”  其实,虽然这部电影基本真实地还原了黑洞的视觉效果,但假如人真的掉进黑洞
在这冬与春的交界,有时候感觉不是一季要变成另一季,而是每天就是一季,尤其是天气如此阴晴不定,昨天才冷得彻人,今天就要换上夏衫,以为从此就是好日子了,明天又是一道冷锋,悄悄地从远方袭来。这时候,我会想起憨山大师的一首禅诗:  世界光如水月,  身心皎若琉璃,  但见冰消涧底,  不知春上花枝。  春上花枝确实是一种“不知”,它仿佛是没有预告的电影,默默地上映,镜头一瞥,就是阳光灿烂,花团锦簇了。  
据说,明太祖朱元璋的长相丑陋,于是他决心把状元打造成帝国的形象代言人。要配得上王朝的威严,颜值自然是极其重要的,这早在洪武四年首次殿试就为朱氏王朝树立了榜样,原本的状元因为貌丑被降为榜眼,英俊的吴宗伯被拔为状元。这着实让人目瞪口呆,舆论一片哗然。  明建文帝时,有个叫王艮的举人博览群书,才华横溢,又精通韵律,他曾依“神、真、人、尘、春”为韵作《梅花诗一百首》,堪称梅花诗中的珍品,广为流传。  建文
世界上百分之八十的峡湾在欧洲,而欧洲的峡湾大多数在北欧,北欧的峡湾则主要在挪威。峡湾的英文名是Fiord,有时特指的就是挪威的峡湾。  挪威南部的大西洋海岸线呈不寻常的曲折,多条宽阔的“海流”蜿蜒伸展到内陆达一百五十千米以上。峡湾的水非常深,一般都在几百米,最深达到一千二百米。两岸的山峰动辄也是千米高,万丈绝壁紧紧地钳住一泓蓝水,这水还会随着潮汐一呼一吸,是不是很壮观呢?  峡湾里瀑布的数量多到令
想当年,黄瓜家族居住在野外,还不为人所知,是一群对人类来讲没有任何利用价值的野黄瓜。如果碰巧赶上雨季,野黄瓜的长势会分外挺拔,生机勃勃,郁郁葱葱。那些食草动物们倒是疯狂地爱上了它,碧绿的小瓜儿又清脆又好吃。  可是,野黄瓜却很郁闷,可怜自己辛辛苦苦装满一肚子的种子,都被这些可恶的動物们吃了。为了保护自己的下一代不被吃掉,黄瓜决定展现自己的野性,它的体内开始分泌出一种很苦的物质——葡糖甙。不知情的动
1  大二时,我在图书馆读东野圭吾的《解忧杂货店》,对书中充滿温情和神秘感的“浪矢杂货店”很是向往。神奇的是,这世界上真的有一家店铺,于我而言就像是“浪矢杂货店”一样温暖的存在。它是一家书店,已经开了近20年,并且将会继续开下去。  追溯到我念小学、初中的时代,那时候智能手机还没有兴起,人们提起阅读就是捧着一本纸质书。当时书店的生意还很不错,学生们常常在放学后或者星期天就涌进书店,所以那几年,在学
企鹅是生活在寒冷地区的鸟类,那么,企鹅为什么不怕冻脚呢?  因为企鹅采取了独特的办法,通过改变向双脚提供血液的动脉血管的直径,来调节脚内的血液流量。当寒冷到来时,企鹅就减少脚内的血液流量;当气候比较温暖时,企鹅就增加脚内的血液流量。其实,人类也有和企鹅类似的调节功能。当人类的手和脚感到寒冷时,就会变得苍白;当手和脚感到温暖时,则会变得红润起来。  另外,企鹅双脚的上层,有一种类似于逆流热交换的系统
牛顿声称因为被苹果砸到,所以发现了万有引力。但引力到底是个什么东西呢?牛顿也不知道。它看不清,摸不着。直到前不久,我们才真正观察到了引力——美国的一个科研项目首次确认了引力波的存在!但这听起来有点高冷的引力波到底是什么呢?  爱因斯坦的猜测  20世纪上半叶是物理学群星璀璨的时代,爱因斯坦更是其中的杰出代表。他彻底颠覆了人类的时空观——在高速运动的世界里,光速不可超越,时间与空间也并不绝对,而是相
鱼是江南绮丽的梦,扮亮每一个清寂的夜晚,驱赶日子里的苦寒因子,生活因它有了奔头,摇曳生姿。  岁末风寒,吹瘦一池冬水,枯荷残叶间游弋的江南鱼,惊见兴奋的手脚,惊闻炸响的笑语,不禁惊跳起来,夺路而逃,亡命飞奔。  水花污浊鱼白洁。江南鱼跃出水面,飞出扶风弱柳的曼妙身姿,掠出泉眼翻涌的鼓荡气息,飞来掠去,安身农家的檐下壁上,晾成冬日盛景,钻入缭绕烟云,飘出绝世奇香。  “年年有余”的“余”和“积善之家