编者按:本文来自微信公众号量子位(ID:QbitAI),作者:小冰,创业邦经授权转载
虚拟人界有多卷?
近几年国内外火山喷发般的虚拟人可以说明这一点。
上个月,扎克伯格挑战光剑变身,右手藏剑,左手亮剑:
这是Meta一直在开展的Codec Avatars项目,目前已经能创建出逼真的虚拟角色,连头发丝都根根分明。
据了解,该项目使用的是3D捕捉和AI技术,最初以高质量的头像演示开始,后来逐渐实现构建全身的虚拟化身。
然而,采用这种方式,动作捕捉拍摄三秒钟所记录的数据,就足以装满一个512G的磁盘。
也就是说,采用这么多摄像头是对存储硬件的一种极大的挑战,需要极多的数据才能创造出一小段demo。
效果是很不错了,但卷也是真的卷啊,卷的不是虚拟人,是设备啊。
脸书之后,“英伟达发布会里有几秒钟的黄仁勋是假的”这个话题,又引起了大众的激烈讨论。
这个真假难辨的黄仁勋,是由英伟达在2019年正式发布的一个计算机图形与仿真模拟平台,
在身体表现的部分,英伟达研究团队聘请了一位演员,让他穿上动态捕捉装备,并且记录下该演员模仿黄仁勋演讲的身体姿态。
通过名为Audio to Gesture的技术,使得演讲的音频作为身体动作表现的独特传输驱动。
据悉,该团队一共做了21个版本的“黄仁勋”。最后,再通过CG动画渲染技术,才得以实现短短15秒的虚拟“黄仁勋”演示。
效果是很不错了,但卷的除了设备,还有背后的人类团队啊。
中国的虚拟人也如浪潮一波又一波汹涌而来。比如,近日爆火的柳夜熙。
柳夜熙是一个虚拟美妆博主,一夜涨粉上百万不仅仅和她的画面技术有关系,故事精彩,画面精致给用户带来新颖感,让人忍不住驻足观望。
当然啦,涨粉和点赞和虚拟人物柳夜熙的颜值也有很大的关系,柳夜熙的捏脸数据算得上是捏脸界的颜值天花板。
她的穿搭妆发都充斥着东方元素,有着现代和古代文化的碰撞感,脸型是带有棱角的鹅蛋脸,温柔中带着一丝英气,面部饱满轮廓清晰流畅,有自己的特色。
而这次的卷不是柳夜熙,是背后的CG、设备、美术等庞大的人类团队。
就在前两天,一个新的虚拟人,终于突破了虚拟人界的天花板!堪称虚拟人届的卷王!
先来猜一猜,上下两边哪个是真人,哪个是虚拟人?
答案:都是虚拟人。
他是全球首批和真人原型真假莫辨的数字孪生人——N小黑。
同时,N小黑的「制造者」小冰公司,还公布了他的数字孪生人搭档:N小白。
这也是人工智能虚拟人类的整体自然度,首次被提升到和真实人类几乎无法分辨的程度。
当我们谈起「数字孪生」——这个用技术复刻现实的新概念时,似乎总是十分遥远,过去几年,它在工业制造的热度不断攀升,现在,它终于离我们的想象更近了——
N小黑和N小白,作为真人的数字化身,在「每日经济新闻」直播新闻 70 天,几乎没人看出来,这是两个虚拟人。
当播报新闻的虚拟人在眼前真假难辨,恰恰证明了技术的飞速演进,正为我们的生活带来了更多新可能。
当然,卷也是真的卷啊,直播70天还没工资。
首批数字孪生虚拟人,怎么做到真假难辨?
各式各样的虚拟人,我们已经并不陌生。
N小黑和N小白这次最大的突破,用一句话来概括就是:真实,高效,无人化。
真实之处,我们已经能从画面上轻易感受——
屏幕前,N小黑正铿锵有力地播报着今日的热点资讯。
他双手握在身前,眼睛自然眨动,嘴唇轻启,口型会根据每个字的发音而变化,眉毛也随着情绪上下摆动,甚至脸上可以看到因吐字而波动的肌肤纹理。
要做到这一点,必须得先说说小冰深度神经网络渲染技术(Xiaoice Neural Rendering, XNR)了。
这项技术,主要是通过深度学习,从大量数据中提取数据先验,就能实现快速渲染。要知道,传统的 CG 和动作捕捉不仅耗时很长,而且成本极高。
比方说,一部 CG 电影里,最难制作的特效之一就是头发。每当虚拟人的几十万根发丝在飘,那就是经费在疯狂燃烧。
小冰这项技术,首先就解决了低效率、高成本的问题。
接着,该技术还能基于深度学习的三维场景表达和对应的神经渲染管线,在特定场景中发挥作用,虚拟人的视觉形象、表情、肢体动作就都能「复刻」且还原。
这样,他们看起来就更加真实了。
我们总是能清晰分辨出 CG 或 CG+动作捕捉制造出来的虚拟人,因为他们要不长得跟漫画里一样,要不就是一副扑克脸,一说话或微笑就露出破绽,生硬的动作也让人感到隐隐不适。
所以虚拟人的制造者们,需要花很多功夫去弥补其中的不自然之处。
前阵子很火的虚拟人柳夜熙,其实是由「真人身体+虚拟面部+酷炫特效」结合呈现,只看柳夜熙脸的话,还是能看到她在表情管理上的不足。
数字孪生人,与其说是让虚拟人变得更真实,不如说是让虚拟人变得更自然。
这种整体的自然度,具有更多「人情味」,而不是带给人「似像非像」的诡异感觉。「自然」能让人感觉到惊喜,也能让虚拟人更亲近人,且更容易进入我们的日常生活。
从最开始,小冰通过知名财经主播N小黑(N小黑财经)和N小白(每经小白基金)获取训练数据,到通过深度神经网络渲染技术改善数据,最后通过小冰框架小样本学习技术——
只要一周,两个虚拟数字人就诞生了。
他们不仅能干人干的活,还能干人难以干的活,以及其他虚拟人干不了的活。
这次小冰公司还在全球范围内,首次实现了视频采编播全流程的无人化操作。
也就是说,他们不仅形象是AI建模生成的,从金融资讯的文本生成,到通过预训练的虚拟主播实现音画同步播报,再结合同步场景动态绘制,最终生成完整的直播推流,全都是由 AI 完成。
小冰与每日经济新闻联合推出的「每经AI电视」,也成了全球首个7x24小时不间断播出的AI视频直播产品。
可以说,无论对于虚拟行业或是大众层面,小冰公司都提出了一个新的解决方案。
虚拟人越来越流行,也离生活越来越近
在虚拟人的道路上,小冰已经尝试过很多种可能。
从最初的聊天机器人,到能写诗写歌的 AI少女小冰、再到后来的小冰虚拟男/女友,今年还推出了虚拟偶像 MERROR,以及由千千万万虚拟人和人类混居的新平台——小冰岛。
△图片依次为少女小冰、MERROR、小冰岛虚拟人
这些虚拟人背后,都基于小冰框架,本质也就是「AI beings」,它将能定制各类人工智能个体,也会在未来带来更多元的可能性。
N小黑和N小白,是小冰在 AI being 时代的最新探索。
不过要想走得长久,走进人们日常生活,还是得靠「内容」说话。
最早我们对虚拟人传达内容的期待,可能就是人工客服的回应,或者喊一声小爱同学对方回复「我在呢」。
现在,几乎市场上的虚拟人都还有点儿才艺,因为有了中之人,所以他们开始会唱歌、拍视频、和人交互。
而N小黑和N小白已经能从视觉、声音、文字上都自由表达,还能实现实时音视频流。
在数字孪生、框架全能力、多模态交互,以及实时音视频上,小冰都跨出了突出的一步。这些能力,能让虚拟人打破虚拟和真实的界限,更自然无形地融入我们的生活空间。
接下来正在迪拜世博会中国馆参展的夏语冰可能也将营业,这又是小冰团队的一个力作,虚拟数字主播接下来还能帮人们讲解网课、播报天气预报、科教科普……
△图片为夏语冰
未来的虚拟人,其实还有更多的想象空间。
但当下要让他们离我们更近,就是真正走进我们生活,添补我们现有的需求,真正解决一些实际问题。
虚拟未来,得更实在
随着虚拟数字浪潮一波波袭来,我们会越来越习惯虚拟人和真人共存的社会。
艾媒咨询《2021 中国虚拟偶像行业发展及网民调查研究报告》指出,2020年中国虚拟偶像核心产业规模为34.6亿元,预计2021年达到62.2亿元。
就在前几天,索尼才联手B站开启了全球虚拟偶像「Virtual Cinderella Project」项目。
未来几年,虚拟人也会和人类建立更多元和深层的商业关系及情感纽带。
不过当下,虚拟人要在我们日常生活中普及,每个挑战都是一座山。
比如,内容不足、表现不佳、周期太长、成本太高、运营不足,都是虚拟人如昙花一现,随后一波波倒下的原因。
虚拟人已经从娱乐、时尚、社交,慢慢应用到教育、医疗、金融的各个领域,但真正做出商业化成绩的还不多,走进用户心里的并不多,真正给我们日常生活带来帮助的也不多。
而随着乐华娱乐与华纳音乐纷纷推出虚拟偶像,互联网大厂如腾讯系、网易、快手、B 站、阿里系都开始涉足虚拟人,又预示着他们未来的潜力。
△图片为韩国女团Aespa的专属虚拟角色
当然,不能否认,元宇宙、NFT、区块链等系列新概念的火爆,也推动了资本的行动。
但空谈和幻想,只会让虚拟人的好处离我们越来越远。
今年11月的《中国计算机学会通讯》,封面专题就是「计算机图形学与人工智能融合」,探讨了CG和AI从技术到应用的广泛融合,希望技术还能够有更大的突破。
放远来看,虚拟人商业化的未来,就只是时间问题了。
在虚拟之风盛行时,我们同样需要实干兴邦。虚拟人背后的基层技术,决定了虚拟人的落地程度。
当一个个想象踏实落地后,虚拟才能成为新的现实。
本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。