DeepSeek之后,智源大模型登Nature:事关"世界模型"统治路线
# DeepSeek之后,智源大模型登Nature:事关"世界模型"统治路线 **原文链接:https://tech.ifeng.com/c/8qOgyox9n7n** **来源:AnySearch 国产模型** 北京时间1月29日,北京智源人工智能研究院推出的多模态大模型"悟界·Emu"登上Nature正刊,成为继…
# DeepSeek之后,智源大模型登Nature:事关"世界模型"统治路线 **原文链接:https://tech.ifeng.com/c/8qOgyox9n7n** **来源:AnySearch 国产模型** 北京时间1月29日,北京智源人工智能研究院推出的多模态大模型"悟界·Emu"登上Nature正刊,成为继DeepSeek之后第二个达成此成就的中国大模型团队研究成果,也是中国首篇围绕多模态大模型路线的Nature论文。 Nature编辑点评道:"Emu3仅基于'预测下一个token'实现了大规模文本、图像和视频的统一学习,其在生成与感知任务上的性能可与使用专门路线相当,这一成果对构建可扩展、统一的多模态智能系统具有重要意义,有望推动原生多模态助手、世界模型以及具身智能等方向的发展。" "悟界·Emu3"模型由智源研究院于2024年10月推出。无论在感知还是生成方面,Emu3均达到了与特定任务旗舰模型相媲美的性能。该模型能够完成文本到图像生成、文本到视频生成、未来预测、视觉语言理解、交错图像文本生成以及具身操作等多方面任务,这一成果对于确立自回归成为生成式AI统一路线具有重大意义。 Emu3的图像生成在MSCOCO-30K等基准上表现优于SDXL等扩散模型;视频生成在VBench评分达81,超过Open-Sora 1.2;视觉语言理解得分62.1,略高于LLaVA-1.6。尽管这一成绩在如今已经比较寻常,但在两年前却非同一般。 前OpenAI政策主管、现Anthropic联合创始人杰克·克拉克当时评价Emu3:"不依赖花哨的架构技巧,仅用最基础的预测下一个token的逻辑,这种'简单'被视为具备强大的扩展潜力。" 而正是这种"简单"架构路线,对降低大模型研发门槛和成本意义重大。"越是极简的架构,可能越具备强大的生产力,对产业的价值也越大。"智源研究院院长王仲远表示,"因为它简化了多模态AI架构,减少了研发过程中的复杂性和潜在错误,从而使模型的构建和维护更高效。" 到2025年10月,"悟界·Emu"系列已迭代出多模态世界模型。Emu3.5可以理解长时序、空间一致的序列,模拟在虚拟世界中的探索和操作,不仅超越谷歌Nano Banana等模型拿下多模态SOTA,并首次指明了"多模态Scaling范式",让模型自发学习世界演变的内在规律,为具身智能等物理AI领域发展提供了重要新路径。 论文名为《通过预测下一个token进行多模态学习的多模态大模型(Multimodal learning with next-token prediction for large multimodal models)》。 **一、50人小组死磕"统一":一场押注AI未来的技术豪赌** Emu3模型最早立项是在2024年2月,当时正值团队重新审视大模型发展路径——随着GPT-4、Sora的爆火,"预测下一个token"自回归路线彻底改变了语言模型领域,并引发了关于AGI早期迹象的讨论,而在多模态生成领域,DiT(Diffusion Transformer)架构成为主流,开始展现出令人惊艳的生成效果。 自回归技术路线是否可以作为通用路线统一多模态?一直是未解之谜。Emu3的开创性,就在于仅采用"预测下一个token(NTP)"自回归路线,就实现统一多模态学习,训练出性能出色的原生多模态大模型。 时间线拉回到立项之前,当时智源研究院团队进行了大量分析和辩论,达成一个共识——多模态是未来实现AGI的关键路径,但现有的多模态生成长期以来由扩散模型主导,而视觉语言感知则主要由组合式方法引领,并不收敛统一,存在技术天花板。 尽管已有业内人士试图统一生成与感知(如Emu和Chameleon),但这些工作要么简单地将大语言模型与扩散模型拼接在一起,要么在性能效果上不及那些针对生成或感知任务精心设计的专用方法。 自回归架构能否作为原生统一多模态的技术路线,信与不信,这是一个重大的技术决策。最终在2024年2月底,智源研究院决定,组建一支五十人的技术攻关团队,以自回归架构为核心进行研发,并采用离散的token方式,以精简架构和大规模复用的大语言模型基础设施,开启全新的多模态模型Emu3的研发工作。 该模型开创性地将图像、文本和视频统一离散化到同一个表示空间中,并从零开始,在多模态序列混合数据上联合训练一个单一的Transformer。 这是一条挑战传统的"冒险"之路,在成功之前,智源研究院团队经历了重重挑战。 首先不言而喻的是技术上的挑战。选择"离散的token"方式本身是一种冒险,因为它尝试为视觉和其他模态重新发明一种与人类文字语言对齐的语言体系。在图像压缩过程中,由于图像信息相较于文字的信息量更大,但冗余更多,这使得基于token压缩图像时难以训练出有效模型,在…
https://www.fde.pub/news/795