日本宅男自制AI:二次元“纸片人”动了起来

发布时间:2019-12-02 发布者:亚洲时报

对于宅男来说,二次元是神圣的理想乡,各种角色让他们喜爱不已。人们习惯将这些二次元的角色称为“纸片人”。不少人还将其中的角色称为“老婆”,并幻想要是她们能和自己互动就好了。


 

(图源:3DMGAME)


日本的一位宅男也有这种想法,但他没有局限于只是想想,而是选择自己动手去实现。这位少年名叫Pramook Khungurn,长期沉迷二次元虚拟偶像小姐姐,突发奇想用深度学习给自己做一个AI,结果竟然成功了。他把喜讯发上Reddit,7小时热度便突破200点。

 

这位小哥做出AI可以将人们输入的静态人物图,变成会眨眼,会张嘴,还能望天发呆的动态形象。据他所说,2D人物的动态建模较为耗时,如果要批量地处理,显然一步一步来是行不通的。于是他就选择用深度学习的方法,来跳过繁琐的建模步骤。

 

Pramook决定要做了以后,第一件事就是需要建立一个数据集,才好训练算法。这个数据集具体来说是标注好姿势的脸部数据集。二次元没有直接可用的现成数据集,所以需要自己创建。然而机智的他想到,可以用3D模型来训练2D的算法。于是从初音未来的MikuMikuDance里下载了8000多个虚拟人物来帮助自己建立数据集。


 

(图源:量子位)


一个3D模型就有上千张图片可以使用,何况是8000个虚拟人物的模型。

 

数据集有了,接下来就是算法。在Pramook的AI中,算法分为两方面,一个是表情变化器,一个是脸部旋转器。表情变化器较为简单,Pramook借用了中选ECCV 2018的GANimation算法。原来很简单,就是把两张图之间的变化过程用一张图显示出来,再与原图结合,就可以实现表情的变化。

 

脸部旋转器就比较复杂了,用了两个互补算法。其中一个依然是GANimation,另一个是来自Zhou等人2016年的视角合成算法,用来让图片里的3D物体转起来。要做到这一点,网络会计算出一个外观流(Appearance Flow):它知道,输出的每个像素,色彩是来自输入中的哪个像素。两者结合可以让表情动作的转换变得平滑流畅。

 

最后,Pramook迫不及待地进行了测试,发现完全行得通。只需要输入一张图片就可以让二次元角色动起来。

 

当然,人们肯定不会局限于此。不少人发现,如果将这个AI搭配着面部追踪算法一起使用,就可以让二次元角色跟着别的视频进行动作。有人就用奥巴马的视频做了实验,发现完全行得通,二次元角色惟妙惟肖地同步着奥巴马的神态和动作。这样完全可以用新垣结衣的视频打造一个二次元新垣结衣来做“老婆”。


(图源:量子位) 


不仅如此,视频还能自己拍摄,并且Pramook已经实验过表示可行。如此一来,宅男们完全可以手把手地教心仪地“纸片人”说话,打造专属自己的二次元AI。

 

亚洲时报 综合

责任编辑:杨志杰

特别声明: 本站转载或引用之图文若侵犯了您的合法权益,请与本站联系,本站将及时更正、删除。版权问题及网站合作,请通过亚时中文网邮箱联系:asiatimescn@sina.com

热门话题更多>>

推荐文章

更多>>

扫一扫手机阅读

ATimesCN手机网站