设计癖 - 关注设计癖 提升幸福感

注册 X

设计癖 - 关注设计癖 提升幸福感

登录

忘记密码?

登录 X

设计癖 - 关注设计癖 提升幸福感

邮箱注册

《设计癖免责声明》

密码找回

取消

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

超火的AI特效。

文章转载自:量子位
作者:金磊
ID: QbitAI
编辑:darlene7

这两天,抖音上一款特效——「变身漫画」,简直火到不行。

从明星到路人,堪称全民参与,来看下效果吧~

首先登场的是张艺兴和戚薇。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

可以看到,这个特效基于人物的面容,很好的转换成了二次元漫画风格。

尤其是眼睛的处理,把张艺兴慵懒的眼神、戚薇水汪汪的大眼睛,诠释的淋漓尽致。

当然发型也都是「满分转换」,分叉、造型等细节可以说是丝毫不差了。

抖音网友们直呼:

终于看到这个特效啦!早就想看偶像的漫画风,圆梦了!

可爱的PDD同学也参与了进来,这个漫画风让他变得少了些油腻,多了份清纯,好评!

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

调皮的网友竟发出疑问:

安西教练?

当然,刷了众多视频之后,你会发现这个特效并不是适合所有人,建议以下2类人慎用此特效。

第一类是颜值过高,这里的高是指本来长相就像「从漫画里走出来」的人,例如吴亦凡。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

本来吴亦凡是浓眉大眼、五官立体,转换后却显得「单薄」了不少。

第二类是彪形大汉……话不多说,来感受一下这个画风……

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

嗯……原来的味道,全没了……引得网友直呼:

你为什么要拉过来?

发我男朋友看一下,让他认清社会的现实。

突破「次元壁」的关键技术

那么如此有趣的特效,是怎么做到的呢?

虽然目前并没有看到专门对应此特效的研究,但是有关「风格迁移」的研究,并不是新鲜的事物了。

而在众多研究中,打破二次元和三次元的关键技术,就是GAN (对抗生成网络)。

用GAN实现漫画风

早在去年,港中文、哈工大和腾讯优图的一篇最新研究,可以将人脸照片转化成如同手绘版的卡通图,甚至还能反向转换,将二次元的卡通图像,转换成现实中可能的样子。

将真实人脸照片转化成卡通图像,效果超越了CycleGAN。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

还能转换成日漫画风,自带了热血青春的气息。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

这项研究利用到的技术叫做Landmark Assisted CycleGAN,它利用面部标志特征来定义一致性损失,指导在CycleGAN中训练局部鉴别器。

整体结构如下:

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

整体来说,这个转换过程分为3步。

首先,生成器先根据CycleGAN生成一张粗糙的卡通人脸。

随后,模型根据第一步生成的图像,生成一个预训练回归量(regressor),来预测面部landmark,对面部的关键点进行标记。

最后,通过局部和全局两种鉴别器,研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段,强调了landmark的一致性,因此最后的生成生成结果逼真且有辨识度。

用GAN实现油画风

例如MIT和IBM沃森联合实验室,发布的名为AI Portraits Ars的工具,只要给定一张图像,就能秒变「文艺复兴款」的油画风。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

值得一提的是,这不是风格迁移,而是GAN自己画出来的。

不止能拿着照片作画,看着视频也没问题,例如1960年的老电影《惊魂记》。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

这项技术里GAN的生成器就像是个画师,而判别器就充当鉴赏家角色,负责识破生成器的画不是人类作品。

生成器里有个潜在空间,里面有千千万万的AI画像,都是从人类画作里,用不同的向量修改而成。

然后,要按着照片生成画像,就把一个向量 (Latent Vector) ,映射到千万AI画像里和照片最接近的一幅。

团队还设计了一个Inverter,可以从照片里近似出一个向量,用来找到潜在空间里最合适的那个向量。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

用GAN让纸片人活起来

除此之外,GAN甚至还可以让2D形象变成3D“活物”。

例如来自华盛顿大学的照片唤醒 (Photo Wake-Up)技术,可以让你体验到麻瓜的神奇魔法。

它可以让你最爱的体育明星从照片里跑出来:

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

还能赋予二次元角色新力量:

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

还可以借此把角色们AR/VR化,只要动动手指,它们就能出现在你身边的世界:

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

这项研究整个操作过程,其实只用了三步:

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

第一步是分割纸片人:利用现成的图像分割算法,将画中人的躯干、四肢分割,再用人体姿态估计,提取画中人的2D骨骼关键点,忽略厚重的衣服,拟合出一种半裸的可塑3D模型,称为SMPL模型。

第二步是是细化纸片人3D模型:先将SMPL模型映射到2D世界对准轮廓,调好再次转换成3D模型确保精确度。

最后一步中,研究人员用CMU的Mo-cap人体动作数据集喂给模型。

让二次元走进现实

除了抖音最近火爆的「变身漫画」特效外,隔壁岛国的一项「3D姿态追踪」也火了。

可以让漫画人物跟随着你的动作,一起翩翩起舞,仿佛二次元人物走进了现实。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

利用「真人模型」也是可以的。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

并且这项技术可在线体验哦(链接见传送门)。

抖音AI特效火遍全网,真人秒变漫画形象,吴亦凡PDD戚薇都玩上瘾了

这样一来,和你心仪的二次元对象,在现实中共舞便不再是梦!

若是把明星作为模型输入的一部分,是不是也可以跟偶像共舞了?

咦?好像可以预见娱乐平台的下一个爆款特效了。

传送门

3D姿态追踪项目地址:
https://github.com/digital-standard/ThreeDPoseTracker

 

这个特效你玩过吗

加载中 ... 加载中 ...

你此刻的心情

  • 6

  • 0

  • 27

  • 2

  • 1

版权声明: 凡本站注明来源非设计癖的文章,目的在于传播,如需转载,请与稿件来源方联系,如产生任何问题与本站无关;凡本站所发布的图片、视频等素材,版权归原作者所有,仅供学习与研究,如果侵权,请提供版权证明,以便尽快删除。

留下评论 全部评论(1)

  1. 缇La咪兔

    就是看起来很粗糙