当AI技术持续向更纵深的领域探索,3D大模型正以惊人速度改变创意产业格局。
7月18日,在杭州拱墅举办的2025创业邦新青年创投大会上,VAST创始人&CEO宋亚宸带来了这一技术发展现状、核心突破及产业应用的深度分享,为我们展开了一幅3D大模型从实验室技术走向产业落地的全图景。
他认为,3D大模型技术快速发展将重塑设计产业全链路。首先,设计过程将变得更高效,创意得以快速落地。小工作室、个人创作者能以更低成本、更高效率产出高质量3D内容。这势必进一步激发UGC生态潜力,使设计与消费、虚拟与现实的边界逐渐模糊。最终,整个行业也将从重投入、高风险向轻量化、个性化转变。
以下是宋亚宸现场演讲实录,经创业邦整理。
01技术迭代,两年崛起的3D大模型与核心突破
我们公司叫VAST,是一家专注于3D大模型研发的企业。虽然公司成立仅两年,但3D大模型这一技术的发展速度非常快。目前,我们已经服务了3.5万家中小客户、700多家大客户,还有三百万海外创作者在使用我们的3D大模型。如果大家在这15分钟里没能记住太多内容,我想有一个关键点一定要强调:这一技术从被人类发明至今,才两年多时间。
在两年多以前,人类想要实现“心想事成”或“言出法随”般的创意落地,难度其实很大。但自从这一技术诞生后,一切都不同了——只需输入一段文字、一张图片,甚至更复杂的多模态输入(比如三视图),一个3D模型就能被快速生成。短短两年多里,几乎每3-5个月就会有一个全新的大模型出现,给各行各业带来了非常大的变革。这种变革在普通用户的日常体验中可能还不明显,不过接下来我会和大家聊聊行业里已经发生的变化。
我们本月将发布3.0版本的3D大模型,参数规模达到两三百亿级别。它的核心能力可以通过一段视频来展示:基于文字或图片生成3D模型后,系统能自动通过语义分割将模型拆分成一个个部分,每个部分会自动完成补全,用户可以单独对某一部分进行编辑、风格化调整;调整满意后,还能通过AI算法重新组合起来。比如,你可以先构建一个基础模型,再生成一把精致的宝剑、一件帅气的披风,将它们集成到自己想要的角色身上;也可以上传一张图片,让AI自动识别图片风格,对模型部件进行风格化处理;还能用智能笔刷调整细节,比如在衣服上添加LOGO。
我们还采用自回归路线开发了低模生成功能,能为模型提供更优的拓扑结构、布线设计,以及UV和烘焙优化。更重要的是,我们实现了“万物骨骼绑定”——不管是猫、人、龙还是蛇,AI都能自动完成骨骼绑定并让它们动起来,真正实现了在一整套AI工作流上端到端地制作3D内容。
在技术路线上,我们既有闭源技术,也做了很多开源工作。目前这一技术还处于相对早期的阶段,我们希望通过大量开源工作——包括发表40多篇顶会论文——来推动整个技术的发展。
值得一提的是,3D大模型解决了传统多模态生成技术的一大痛点。像文生图、文生视频等技术,输出的内容往往是不分层的,很难接入传统创作管线或编辑工具进行二次开发和专业修改。而3D大模型的语义分割功能,相当于自动完成了分层,这一功能目前在全世界范围内只有我们的产品具备。低模生成则让模型能更好地适配游戏、动画、XR、元宇宙等场景的创作管线,提升实时渲染性能;贴图材质的优化让模型表面的颜色可以手动调整,满足个性化需求;而“万物骨骼绑定”更是突破了传统局限,让生成的万物都能变得可动可交互。
02场景落地,3D大模型如何重构行业创作逻辑
3D大模型到底能发挥什么作用?这是一个很重要的话题,之前我也没和大家深入聊过。它的出现,正在多个行业里引发深刻变革。
在游戏领域,这种变革尤为显著。过去,开发一款专业游戏往往需要投入数亿甚至更多资金,几百人甚至上千人的团队耗时数年才能完成,不仅投资风险大,周期也很长。而现在,尤其是在美术环节,创作成本大幅下降;更重要的是,创作门槛降低了——不仅大公司能开发游戏,一些小型工作室甚至个人都能制作更轻量级的游戏,而且周期更短、成本更低。
在空间与场景设计领域,3D大模型的应用也在改变传统流程。前段时间,我们刚和酷家乐签署战略合作协议,用户可以在里面生成自己的家,进行布置——想把桌子放在室内中央,放一个沙发,摆一些摆件,都能直接生成;生成完成后,用户可以在软件里直接下单,系统会推荐相近的产品,还能让消费者清楚了解设计的预算。
XR领域的发展长期受限于创作门槛和成本过高,导致内容严重不足。而现在,已有几千个XR应用是基于我们的技术能力开发出来的。比如开发者创作的“XR日记”,过去日记是文字形式,现在可以变成3D场景;还有一个开发者制作的钓鱼游戏,突破了传统钓鱼游戏内容重复的问题——AI能自动生成不同地域的特色鱼类,用户去中国区域钓鱼,会遇到中国特有的鱼;去大西洋区域钓鱼,会遇到大西洋的特色鱼类,内容深度大幅增加,开发者只需在中间设一个池塘,就能让用户不断体验钓鱼的乐趣。
3D大模型还为设计领域的从业者和学习者提供了便利。很多2D设计从业者画草图、拍照片、做2D设计都没问题,但要在3D领域展现创意就会遇到困难;中国一些美术院校的大学生做毕设时,无论是新媒体交互、当代艺术还是陈设艺术,都需要将作品3D化,而3D大模型正好能满足这一需求。
在实时互动场景中,3D大模型的应用也很有意思。比如在网易今年年初发布的游戏《燕云十六声》中,有一个叫“万物太极”的亮点玩法:玩家在游戏中往前走,遇到一条河过不去,就能生成一座桥走过去;遇到天上的宝箱够不到,能实时生成一个梯子爬上去;打怪兽打不过,能生成一棵树躲在后面。这种交互形态,在虚拟世界、数字孪生、XR元宇宙等场景中,将会成为非常主流的交互方式——心里想要什么,或者用文字、图片表达出来,对应的3D内容就能实时生成并实现交互。
03跨界融合,从虚拟创作到实体落地的全链路
3D大模型的价值不仅局限于虚拟领域,更在于打通虚拟与现实的连接,尤其是在实体行业中发挥着重要作用。
在电商领域,展示展陈是非常重要的一环。目前大部分展示展陈方式和信息传递方式都以2D为主,而3D大模型能改变这一现状——随着3D创作门槛和成本的下降,那些用2D难以充分传递信息或信息密度不够高的场景,都能通过3D来呈现,不仅信息密度大大提升,沉浸感也会更好。除了电商,博物馆的展品展示、菜单呈现、广告、教育等场景,都能借助3D技术提升效果。
在品牌营销领域,3D大模型正在激活UGC的潜力。过去,品牌发布IP时,往往只能通过官方账号或请KOL发布视频进行传播;而现在,品牌可以向二创开发者和创作者社区开放能力,让他们快速进行二次创作,这些大量的3D内容能在朋友圈、抖音、小红书等平台快速传播,形成更广泛的二次传播效应。
更重要的是,3D大模型正在与柔性化生产(尤其是3D打印)紧密结合,让文创产品从虚拟创意走向实体落地。在文旅场景和定制化产品生产中,这种结合尤为明显:用户可以通过3D大模型表达自己的定制需求,系统则快速生成设计图或工业原稿,直接对接产线进行3D打印。无论是手办、键帽、钥匙扣、冰箱贴,还是其他任何文创产品,用户只需通过文字或图片输入想法,就能输出3D设计稿,进入生产流程,最终收到定制化的实体产品。