破局大数据悖论!云器科技助小红书实现千亿日志的“分钟级实验自由”

关注
在AI智能时代,数据已成为企业发展的核心资产与驱动力,但是企业通常采用的传统数据平台架构存在“不可能三角”——“既要保证实时又要控成本还要寻求高性能”三者无法兼得

在AI智能时代,数据已成为企业发展的核心资产与驱动力,但是企业通常采用的传统数据平台架构存在“不可能三角”——“既要保证实时又要控成本还要寻求高性能”三者无法兼得。业界的共识是,传统的计算系统引擎没办法平衡三者关系:流计算,虽然延迟低,但资源消耗巨大;批处理,成本可控,但时效性差。无数技术团队只能在实时性与控成本之间被迫二选一,最终限制了商业决策的效率,导致商业机会的流失。AI时代的计算架构亟需一场变革。

“通用增量计算”打破“千亿实时数据不可能三角”悖论

在杭州,这片富有创新土壤的版图上,一颗数据技术新星闪耀升起,2021年落子杭州的云器科技,凭借2023年发布的云器Lakehouse产品,并提出的新一代计算模式“增量计算”(Generic Incremental Compute,简称GIC)跻身“国家高新技术企业”;随后,云器Lakehouse于2025年开放注册(General Available),并同步发布了“通用增量计算”概念及技术白皮书,倡导“技术普惠”理念,构建开放、共赢的生态系统,成为杭州打造“中国硅谷”的关键拼图,也携手众多生态伙伴共同推动了数据基础设施的创新与发展。

云器科技自成立就将“改变数据的使用方式”确立为企业的使命,大厂工程师背景的创始团队为这家企业高质量发展奠定了根基,团队核心成员来自阿里云、字节跳动、微软、Oracle等头部企业,技术研发人员占比达到80%。公司入选工信部信通院“大数据星河奖”优秀企业,同时入选Gartner和IDC权威榜单,在亚太地区已开服多地,主张“你只管写SQL,其它的交给云器”,这为数据开发者提供了最前沿且开箱即用的数据创新工具。

小红书实现千亿日志的“分钟级实验自由”,云器助力

“技术突破只需要点亮一座灯塔,而商业化落地却要铺设整个大陆的铁路网”,这句话描述了技术创新者商业化落地的困境。但是云器科技依托Lakehouse产品的核心技术优势,目前已经联合长安汽车、销售易等行业领军企业,打造了共赢的战略合作生态。伴随技术迭代,云器科技与小红书技术人员密切交流,最具竞争力的技术成功获得小红书团队的认可和肯定,目前云器科技的“通用增量计算”技术已在小红书平台得以应用,这一案例在数据圈引发了不小的震动,小红书作为国际化的互联网大厂,也发布了使用云器技术的实践,直接成效就是“实现了千亿级日志C端‘分钟级实验自由’”的落地,这在大数据行业可谓颠覆性成功。

“在小红书千亿级日志分析场景实现规模化应用”是云器科技实践“通用增量计算”可圈可点的服务案例。云器科技何以在众多技术解决方案中脱颖而出?

image.png


小红书当时不得不克服“千亿级C端数据洪流”场景的挑战。众所周知,小红书是国际化较高的社交媒体平台,日均流量达到千亿级, 上述提到的“数据不可能三角”给小红书数据技术团队带来的挑战尤为明显。在构建实验指标算法链路时,算法工程师需要基于分钟级实验数据进行参数调优,但传统架构无法同时满足“快、省、准”要求,原有实时链路又存在开发复杂、资源消耗高、新增字段难等问题,无法灵活支持算法迭代与多维分析需求。

云器科技引用“通用增量计算”技术,突破了传统数据架构的限制,获得显著成效。通用增量计算技术,为小红书构建了分钟级数据新鲜度、低资源消耗的近实时链路,并支持自助字段扩展。

小红书的技术团队撰文阐述了实践过程,文章详述了小红书技术团队的原有基于Flink、Clickhouse等开源方案的实践,以及作出改变事由,多元方案的测试对比,与Paimon+Iceberg、Starrocks的lambda架构,对比云器科技方案的思考,以及测试和选型的过程。经过测试对比,小红书技术团队最终采用了云器的方案。实现了数据处理资源消耗降至原方案的36%;指标数据差异降低至1%,实现高准确性目标;查询延迟压至秒级,满足实时决策需求;支持灵活调整数据更新频率,在成本和时效性间自由平衡;显著提升BI分析维度与算法调参效率。经过这次技术升级,可以说,小红书实现了真正的“分钟级实验自由”。算法工程师可以在分钟级延迟内获得准确、全面的实验数据,彻底改变了实验迭代模式。

这是“通用增量计算”技术在千亿级C端场景的工业落地,达千亿数据量级的增量计算技术范式的应用实践,在全球范围也属首次,为其他行业提供了可复制的解决方案。在更多广泛的行业,通用增量计算技术同样带来了显著的突破,在汽车行业,云器科技服务了如长安汽车等众多车企,支持车联网数据的实时处理需求的快速增长;在SaaS/泛互联网行业,云器科技服务了如销售易、探迹等数据源生型企业,支持大规模数据的实时海量处理,并提供给企业的用户使用;在零售行业,云器科技服务了实时库存管理和动态定价需要分钟级数据支撑。

所有这些场景都面临同样的“不可能三角”困境。云器科技的技术突破为这些行业提供了可迁移的解决方案。作为技术破壁者,云器科技用3年时间证明了一个重要观点:看似不可能的技术难题,往往需要全新的思维方式来解决。“通用增量计算”不是对现有技术的简单改进,而是对数据处理模式的根本性重构。星辰大海,行则将至。



反馈
联系我们
推荐订阅