作者丨黎晓梅
编辑丨刘恒涛
一个馒头的热量(约20瓦)，就能完成需要上万瓦电力的运算？
这是陆兮科技冲击的目标。陆兮科技在2023年由两位95后女性创立，是国内首家“类脑计算生态链”企业。2024年，陆兮科技推出了首个非Transformer架构、采用类脑技术路线的国产自研大模型—NLM模型。NLM模型高效低能耗，推理效率提升了数倍，能耗却降低了80%以上。
目前，该模型已通过国家网信办“生成式人工智能服务”、“深度合成算法服务”两项备案，获准上线公开运行。
作为Transformer架构的挑战者之一，陆兮科技以类脑算法搭建全自研架构，力争突破Transformer的技术垄断，以及对英伟达等高制程芯片的依赖。在宏大的目标前，陆兮科技的底气何在？
挑战Transformer 做主权AI
2017年谷歌提出的Transformer架构，带动了新一轮AI工业革命。通过自注意力机制和位置编码，Transformer成为了大模型主流算法底座，引领了AI的未来。
但如今，Transformer的影响正在减弱。由于计算复杂度高、训练和部署成本居高不下、依赖高性能的GPU和大量存储空间，Transformer架构所需的算力竞争难以为继。
陆兮科技创始人兼CTO周芃举例，Transformer 遵循暴力解法，每推出一个新的Token，就必须回溯所有的Token。就像是让AI读了一本书，之后每回忆书中的部分内容，AI就要把全书内容全部再读一遍，由此带来了大量算力消耗。
一场针对Transformer架构的挑战正拉开帷幕。挑战者包括微软和清华推出的RetNet；卡内基梅隆大学和普林斯顿大学研究团队推出的Mamba；华中科技大学、字节跳动和香港大学推出的Liquid架构等。
挑战者有一个共同的思路：让底层架构算法降本增效。周芃认为，陆兮科技采用的“类脑算法”技术路线具有显著优势。“人工智能的浪潮，最初是由大脑的启发开始的。人脑是当今运算能效比最强、能耗最低、成本最低的计算单元。目前人工智能领域的顶尖学者们都有一个共识，他们认为下一代人工智能是向大脑靠齐的。”
类脑架构的本质，是模仿人脑的神经元结构和功能，实现高效的运算与存储机制。和Transformer的暴力解法不同，人脑在运算时仅调取直接相关的神经元，其余神经元处于休眠状态，这样就能减少无效计算。还是以读书做比喻，类脑架构大模型可以直接定位到相关章节，无需从头到尾再读一遍。
图：类脑模型的参数量级 + 款型
“我们大脑只耗20瓦的功耗，但现在的算力中心，搭载Transformer架构大模型，完成同样的计算，可能耗上万瓦的电。类脑计算是下一代AI的关键。” 周芃表示，Transformer是驱动了上一轮AI工业革命的蒸气机，但其已过时。新一代类脑架构才是真正能够带领人类走向通用人工智能的高速铁路。
周芃是湖南人，1996年出生，16岁考上华中科技大学启明实验班，2022年，在加州大学圣克鲁斯分校获得博士学位。毕业前后，周芃在多家海外顶尖实验室与人工智能企业工作，进行类脑智能研究。她发表了多篇论文，获得了多项专利，在多个顶级期刊和会议担任审稿人，还是多个海内外开源大模型社群的核心贡献者与首要研发者。
周芃的研究兴趣横跨类脑硬件设计与类脑软件算法，在软件硬件双向定制研发、交叉赋能、提升AI软件硬件匹配程度上取得了全球独家学术成果。2023年，国际电气电子工程师协会（IEEE）向周芃颁发了电路与系统领域年度最高学术奖项“达灵顿奖”（The Darlington Award）。时年27岁的周芃，是该奖项设立以来最年轻的得主。
周芃一直关注国内主权AI的发展，加上西方国家对华裔科研人员的区别对待，她决定回国创业。周芃认为，在国际AI竞争的大背景下，中国必须做主权架构模型。“为什么有安卓，我们还要做鸿蒙？为什么有英伟达，我们还要做昇腾？自研架构是主权问题。”
2023年，周芃和学生时代结识的好友汪博伦，一起回国，在深圳成立公司，汪博伦任CEO，周芃担任CTO。公司名字“陆兮科技”，取自第一位直立行走的人类“Lucy”。
打破对英伟达的依赖 能耗降低80%
类脑架构的落地，是一场横跨算法、芯片与半导体的“极限挑战”。算法上，要模拟人脑的稀疏计算；芯片设计要存算一体，还要突破国产低制程芯片的性能瓶颈。
“传统的AI以数据驱动为主，但人脑的计算和存储不是完全分开的，大脑是存算一体的结构。”周芃说道。因此，陆兮科技的业务涉及类脑架构搭建、大模型研发、存算一体研究，以及类脑硬件开发。
然而，类脑架构的算法、芯片，乃至半导体都存在瓶颈。周芃说，现在是摩尔定律的黄昏，但做类脑架构的大模型，就要将算法、芯片的难点全部同步突破。
陆兮科技有一支具备芯片-算法协同设计经验的团队，团队成员来自加州大学圣克鲁兹分校、麻省理工大学、清华大学、华中科技大学、电子科技大学、中国地质大学等海内外高校，拥有谷歌、中美相关类脑芯片公司的工作经验。通过“自研芯片”+“软硬适配”的思路，陆兮科技试图打破大模型对英伟达芯片的依赖。
一方面，陆兮科技在国产成熟制程上研发了大模型定制化FPGA芯片，在先进制程上研发了性能强大的大模型ASIC芯片。通过元器件层面的存算一体集成，实现元器件合二为一，打破AI芯片性能“唯制程论”，唤醒了成熟芯片的性能冗余，用国产AI芯片走出了一条突围之路。
另一方面，陆兮科技与华为、海光等芯片厂商和全国各地的超算、智算中心积极联动，开展模型+芯片软硬件一体化适配，让类脑架构能在铺货量极大的国产成熟芯片上跑起来。
图：陆兮科技智能硬件产品
2024年2月，成立一年的陆兮科技，完成“类脑大模型”底座模型研发，随后推出了全流程自主研发的NEURARK类脑架构。基于NEURARK类脑架构，陆兮科技研发了底座模型、通用模型、行业垂类模型、端侧离线模型等多条产品线，满足不同行业的场景的多样化需求。
与Transformer架构相比，NEURARK类脑架构运用稀疏激活机制、隐状态管理、无矩阵乘法架构等核心技术，精准复刻大脑运算与存储机制，让大模型像人脑一样，仅激活相关神经元进行计算和存储，从而减少无效计算。
这样的架构，在算力消耗、能源消耗、存储占用、上下文长度、问答响应延迟等多个维度，实现了数倍的性能提升。
周芃说，NEURARK类脑大模型在推理效率上较传统模型提升数倍，能耗降低80%以上。这一优势使其在低制程芯片上的部署表现更为突出，大模型可在包括FPGA在内的低制程+低功耗芯片上，实现10B量级的大规模部署。这对于降低大模型算力与能源消耗、打破芯片行业垄断有重大意义。
“我们的类脑模型产品线，每款产品都有一个最鲜明的特点：不需要英伟达的GPU就能跑得动。”周芃介绍，“陆兮科技的大参数量级模型，在传统的CPU集群上能运行；终端的中级参数量模型，能在笔记本和家用电脑的CPU上运行；而端侧小模型，在手机处理器上就能跑。”
全流程自主研发的类脑架构，确保了技术的自主可控，避免了对国外技术的依赖。目前，陆兮NLM类脑大模型，通过了国家网信办《生成式人工智能服务备案》、《深度合成算法备案》，是我国首个采用类脑技术路线、通过两项备案、获准上线公开运行的国产自研底层架构大模型。
赋能千行百业 冲击6000亿参数规模
“AI的未来不是快速地流量变现，而是用最前瞻的科技研究、最稳定可靠的智能产品、最丰富普适的功能，创造新质生产力，赋能千行百业高质量发展。水利预测、医疗康复……这些才是国家真正的需求。”周芃说。
目前，陆兮类脑大模型已在医疗、康养、水利、能源、安防、消费电子等20余个基础设施行业实现全面预部署，与中国电子、水利部长江水利委员会、联通、中国田径协会等多个国央企、行业头部企业合作。其中，陆兮科技类脑医疗大模型已在多家三甲医院、医联体网络医院与重点科室实现全面部署。
在这些应用场景中，陆兮科技的类脑大模型，有效提升了工作效率和准确性。例如，通过对洪涝灾害进行预报、预警、预演和预案，提高了灾害预警的科学性。
与国央企共同研发推广通用医疗大模型、糖尿+甲乳专病大模型，提高了诊断的准确性和效率。
在端侧，陆兮科技“NLM-GPT”刚亮相时，仅需使用手机自带处理器与存储硬件，能在一台普通安卓手机的离线模式下运行，完成工作与生活中的各项任务。
目前，陆兮科技的端侧大模型，已成功部署在手机、手表、手环、耳机、电视、会议设备、智能家居等终端设备中，并在百元级的消费类电子产品中实现100%离线端侧部署。
图：架构的核心技术说明
在陆兮科技，女性员工数量超过了一半以上，公司致力于性别平等，提倡员工共同养育子女、处理家庭事务，打造一个更包容、支持女性的工作环境。“女性从年轻时就经历了无数挑战，形成了强大的韧性，遇到各种艰难险阻，我们都能逢山开路，遇水架桥。陆兮科技创始人的女性身份，对于公司长期、稳健、可持续发展，是极大的优势。”周芃说。
研究显示，人脑的突触连接总数在100万亿左右，相当于100万亿的参数规模。而当前最先进的GPT-4参数规模约为1.8万亿，和人脑参数规模差了55倍。
目前，陆兮科技大模型的参数规模为580亿。周芃透露，公司正在冲刺下一量级的规模，预计2025年将大模型参数规模提升至6000亿。
周芃认为，类脑架构将会厚积薄发，转折点就在于模型参数规模的扩大，直到逼近人脑的规模。
“Transformer是近年来发展最快的架构，但之后会趋向平缓。类脑架构在缓慢发展后，将迎来爆发。”周芃对未来的发展信心满满。
本文为创业邦原创，未经授权不得转载，否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问，请联系editor@cyzone.cn。
