大模型的中场战事:CoE or MoE ?

关注
大模型产业有自己的流水线

编者按:本文来自微信公众号 极客公园(ID:geekpark),作者:Ray,编辑:郑玄 ,创业邦经授权转载。

残暴的欢愉,终将以残暴结束。

当盛宴开启之时,没人想到,大模型的淘汰赛,会来的如此之快。

火药味首先表现在创投市场。PitchBook 最新报告披露,相比2023年一季度,全球2024年一季度大模型融资额,从216.9亿美元增长到了258.7亿美元,但涉及的交易数量,却从 1909 笔下滑至1545笔——产业格局正迅速向强者收拢。

大厂的价格战,则彻底关上了后来者进入的大门。5月6日,幻方量化率先打响降价“大战”第一枪,随后将字节、百度、阿里、京东、腾讯、智谱,全部拖下水,轻量级模型每千tokens,价格内卷“从分到厘”。不到一个月时间里,后来者的感慨就从跟不上,变成了跟不起。

秋风扫落叶式的前后夹击,使得短短两年不到,技术尚未走到尽头,产业侧就完成了从萌芽到江山初定的格局演练。

然而,胜利者同时也被拖入了另一场更漫长的消耗战中。三朵阴云始终判断在大模型行业的头顶挥之不去:

以目前的技术迭代速度,GPU还够吗?究竟是模型参数的膨胀速度更快,还是账上现金的消耗更快?十项全能、没有幻觉的通用大模型,真的存在吗?

当问题变得无解,过度的追求模型的技术突出,也就成为了一种诅咒。

当淘汰赛暂时画上休止符,行业开始决定换一种活法。

一当暴力不再有奇迹,大模型正陷入技术的诅咒

绝对的大参数,或许并不是大模型落地的唯一解法。 这句话,正逐渐成为大模型产业的共识。·

其中,参数做大路上的第一个隘口,正是这场盛宴中最大的获胜者——英伟达。

最近,一份出自Meta 研究报告显示:其最新的 Llama 3 405B 参数模型在 16384 个 Nvidia H100 GPU 组成的集群上训练时,54 天内经历了 419 次意外,训练期间平均每三个小时就发生一次故障。与此同时,每次的单个 GPU 故障,都会中断整个训练过程,导致训练重新启动。

简单翻译来说,当前的大模型参数量,已经接近硬件所能支撑的极限。即便有无穷无尽的GPU,也不再能解决大模型训练中的算力模型。如果朝着扩大参数的路上继续狂奔,那么训练的过程,将变成西西弗斯推石头式的无限重来。

硬件增大了大模型扩张的难度,细分场景中,智能程度不再与参数量成正比,则从实用角度为这场暴力的欢愉画上了一个大大的问号。

大模型的场景正不断变得复杂化和专业化、碎片化,想要一个模型既能回答通识问题,又能解决专业领域问题,几乎异想天开。

一个国内大模型厂商最爱使用的技术比较维度是:与GPT4比诗词赏析和弱智吧段子,几乎无一例外,无论模型大小,开源模型套壳与否,国产大模型全数吊打“世界第一”。甚至,在最基础的鲁迅与周树人的关系这样的文学常识题上,最优秀的大模型,也比不过一个最传统的搜索引擎。

回归到实际应用中,商业化的不可能三角,彻底为参数信徒们兜头浇来一盆凉水。

在实际应用中,除了模型的智能程度,产品经理们还需考虑速度与成本两大因素。通常 来说,在问答中1秒内的响应速度,99%的准确率,以及能打平成本的商业模式,会是一个大模型生存的必要条件。

但使用大参数路线推高智能,往往也就意味着智能程度越高,产品的应答速度越慢,成本越高,反之亦然。

如果一味由着参数无限制扩张,AI也将无可避免的变成一场资本的战争,但扩张的代价,却远远超过历史上的任何一场同等阶段的商业比拼……对已经踩下油门的玩家来说,只有把筹码加到对手跟不起的水平,才能让自己输得不会太惨。

于是,面对隐约可及的天花板,行业的课题开始转向:如果万能模型不存在,暴力无奇迹,行业要去往哪里?

大模型的T型车时刻:CoE or MoE?

当一个大模型同时完成通用+专业的可行性被堵死,多模型联合分工成为了行业第二阶段的主旋律。

1913年,福特公司创造性的将屠宰线思路引入汽车产业,开发出了世界上第一条流水线。汽车生产,自此从老师傅手工组装,迈入工业化进程,一辆汽车的生产时间压缩近60倍,售价降低也足足一倍有余。汽车制造,自此迈入一个新的时代。

同样的T型车时刻,也发生在大模型产业。

以最典型的场景翻译来说,一个好的翻译,应达到信达雅三层境界。但在大模型的世界里,传统翻译大模型只能做到信,达与雅,则依靠写作大模型才能完成。

但关于何如进行多模型分工,行业则分成了旗帜鲜明的合纵派与连横派。

合纵派的技术思路是 MoE。

所谓MoE(Mixture-of-Experts),翻译成中文就是混合专家模型,将多个细分领域的专家模型组合成一个超级模型。早在2022年,Google 就提出了MoE大模型Switch Transformer,使得其凭借1571B的参数量,也能 在预训练任务上显示出比 T5-XXL(11B) 模型更高的样本效率(更准确,且计算成本没有显著提升)。

不仅如此,美国知名骇客George Hotz与PyTorch的创建者Soumith Chintala也先后表示,GPT4也是由8个220B参数量的MoE模型组成的 1760B参数大模型,算不严格意义的“一个”万亿模型。

然而,这种8合一的思路,也导致了MoE的设计与每次升级迭代都需要花费巨大的资源。类似日常爬山,爬一座8848m高的珠穆朗玛峰的难度,远不是爬8次海拔1108米的雁荡山耗费体力的加和。因此,有能力参与的,往往都是8项全能其具备绝对突出优势的AI技术龙头。

于是,随着MoE逐渐成为寡头的游戏,一种新的技术思路走上台前——连横派的CoE。

CoE(Collaboration-of-Experts),即专家协同模型。通俗来说,一个入口同时接入多家模型,而入口会在模型分析之前,增加一个意图识别环节,然后才进行任务派解,决定任务是由哪款模型起作用,或者哪几款模型打配合。相对于MoE,CoE最大的优势是,各个专家模型之间可以彼此协同工作,但不存在绑定关系。

相比MoE,CoE的每个专家模型之间有更多的协同,更精准的分工,并且更灵活、更专业细分。这一思路,相比MoE,具有更高的效率,和更低的API接口和Token使用成本。

那么,MoE与CoE哪种路线会更占上风?

另一种解题思路:什么决定了用户的智能体验?

当周鸿祎一袭红衣转型AI教父时,360内部,关于如何CoE与MoE路线的论证,也在最近一年多时间里反复上演。

如果走MoE,360多年技术的积累,足以支撑打完这场仗。

而走CoE,就意味着与更多的大模型厂家同分一杯羹。

“三个臭皮匠,顶一个诸葛亮”给了360集团副总裁梁志辉启发,要将宝压在CoE上:

一家企业,哪怕做到Open AI式“8项全能”,依然不免存在短板。但如果将最优秀的大模型企业能力,通过CoE能力,则意味着优势互补与真正十八项全能的实现。

测评结果显示,基于360 CoE AI能力的AI助手Beta版,在引入360智脑在内的16家国内最强大模型集各家所长后,已在11个单项能力测试指标上超越GPT-4o。

与此同时,即使将底层大模型能力“外包”,360依然能在 CoE 的浪潮中,找到自己的独家定位。

从产品层面看, 360 CoE 产品AI助手可以被分成两个部分:其中,语料积累与算法技术,主要依靠的是360智脑在内的16家国产大模型的接入,类似分工不同的特种兵;而360则充当指挥官的角色,通过意图识别模型,来实现对于用户意图更加精准的理解;通过任务分解和调度模型,实现了对于众多专家模型网络(100+LLM)、千亿规模知识中枢和200+第三方工具的智能调度,进而实现比MoE更高的灵活性和效率。

其背后的逻辑在于,当下阶段,决定用户侧所能感知到的模型智能程度的几大要素排序中,需求理解>语料积累>算法技术。

其中,语料大于算法的逻辑,主要体现在细分场景。一个不太恰当的比喻是,一个初高中搜题软件在解决数学和物理问题上,都能秒杀GPT-4o。

关于如何理解需求理解的重要性,梁志辉用360最新发布的CoE AI工具AI助手举了个例子,比如,关于“比如起床第一件事是做什么”的问题,大部分用户期待的或许是一个养生型的答案,而一个热爱弱智吧问答的用户,期待的答案却是睁眼。

在这种实际场景下,不同于客观的评分与打榜,用户对模型智能程度的感知,是主观的。

而做好用户的主观意图判断,则需要对用户历史行为的积累。如果玩家是像360这样有搜索引擎、浏览器数据积累的玩家,则意味着对用户问题的拆解可以做到更加精准,更进一步,通过历史数据,就能判定用户的检索意图,一步给出最合适的答案。

确认了CoE与360的定位后,一个新的问题又随即出现在眼前,基于以上功能设计,360基于CoE架构的AI助手,究竟是作为自家浏览器、搜索引擎、办公产品中的附加功能,还是作为一个独立应用存在。

最终路线定在两相结合,前者提供更多场景,后者创造更多可能。

8月1日,ISC.AI2024第十二届互联网安全大会·人工智能峰会开幕上,360创始人周鸿祎正式发布“AI助手”。在保留独立的网址入口基础上,AI助手也将其全面内置到360国民级入口产品,用户不需要安装插件,即可获取AI体验,与此同时,用户使用AI助手功能时,还可以对模型一键切换,16家国内主流大模型,“哪家最强用哪家”。

AI助手的使用示范

选择将AI助手内置到成熟应用的最直接原因是用户体验。

基础的技术突破,是抡起锤子对一个钉子猛敲;而落地与商业,则是无数个名叫用户体验、场景连续、技术突出、产品生态的齿轮相嵌合,组成的庞大系统性工程。AI的使用需求,往往伴随场景产生,比如网页的翻译,文章的扩写。如果将这些功能放在不同页面、插件甚至APP之间来回跳转,则意味着使用流程的断点与门槛。

发布会上,周鸿祎对此做出了进一步解释:

“大模型不是产品,而是能力,能力固然很重要,但能力一定要跟场景相结合,才能真正的产生价值。”“大模型像今天电器时代的电动机,这东西可大可小、可强可弱、可快可慢,就看怎么用。比如把电动机拿到工厂传送带,就变成流水线,如果加上四个轮子、底盘、外壳,就能得到一辆汽车。发动机在过程中发挥着重要的作用,但是用户并不需要直接发动机,用户需要发动机提供的能力和很多部件相结合。”

用户体验之外,AI助手绑定浏览器的另一个优势则在于成本。

用户侧成本而言,传统的模式中,用户获得更精准的回答,往往只能选择使用更大参数也更贵的大模型这一条路。而通过AI助手,基于CoE架构的意图识别、任务路由模型,问题可以被精准分发匹配到最合适的模型回答,成本也随之降低。

而在产业生态角度,AI助手被集成到安全卫士、浏览器中,则意味着对大模型几乎零成本的流量导入。一般来说,大模型的成本,主要由训练时的研发与硬件采购支出,以及推理时的网络、算力消耗决定,与传统的互联网模式类似,前期的研发成本,会随着后期用户规模的扩大,而在单用户访问成本上被摊得越薄。

360旗下产品获得了更多AI能力的加持,用户获得了更精准更顺滑的使用体验,大模型厂商获得了免费的流量与继续坐在牌桌上的资格。AI助手从页面交互上看,或许只是一个新增功能的改变,但于大模型而言,却是一场一鱼三吃,产品、技术、用户三赢的新商业模式的开端。

这也解释了,为何不久前以阿里钉钉的号召力,争取到的是“七个葫芦娃”的入驻;而这次360发布“AI助手”,却首发就是16家,几乎是把国内主流大模型厂商“一网打尽”。或许只有一家一家写下来,才能感受到这个阵营以及这种号召力的强大:

大厂:百度、字节跳动、腾讯、阿里巴巴、华为;

五小虎:智谱AI、月之暗面、MiniMax、百川智能、零一万物;

垂类头部:商汤科技、科大讯飞、好未来、幻方量化、面壁智能。

尾声

从大模型改变世界,到原子弹变茶叶蛋;从模型为王到合纵连横,从MoE到CoE……短短两年时间,大模型就走完了从初代产品一鸣惊人,到产业淘汰赛,再到商业化的三步走。

而大模型产业的进化速度,也正如其漫无边际膨胀的参数,快速将对手挑落马下,同时快速将自己送到了每一个新兴赛道的终极之问面前:

要生存,还是要伟大。

历史已经替参赛者做出回答——如果生存不能保证,伟大只会成为对手成功路上的垫脚石。

本文为专栏作者授权创业邦发表,版权归原作者所有。文章系作者个人观点,不代表创业邦立场,转载请联系原作者。如有任何疑问,请联系editor@cyzone.cn。

反馈
联系我们
推荐订阅