英伟达发布 Cosmos 3：首个原生支持推理、世界与行动生成的开放物理 AI 基础模型
# 英伟达发布 Cosmos 3：首个原生支持推理、世界与行动生成的开放物理 AI 基础模型 **原文链接：https://www.nvidia.cn/ai/cosmos/** **来源：AnySearch 企业AI** 英伟达正式推出 Cosmos 3，这是其面向物理 AI 的开放世界基础模型（WFM）平台最新一代…
# 英伟达发布 Cosmos 3：首个原生支持推理、世界与行动生成的开放物理 AI 基础模型 **原文链接：https://www.nvidia.cn/ai/cosmos/** **来源：AnySearch 企业AI** 英伟达正式推出 Cosmos 3，这是其面向物理 AI 的开放世界基础模型（WFM）平台最新一代产品。官方将其定义为"首个具有原生推理、世界和行动生成能力的全方位模型（Omnimodel）"，基于全新的 Mixture-of-Transformers 混合 Transformer 架构构建，将像素、动作、声音和语言统一在同一模型中，用于推理、规划并生成下一步动作。 一、架构：先推理、后生成 Cosmos 3 的推理模块与生成器模块采用不同的 Transformer 实现，以兼顾高效生成与性能。官方称，这种"先推理后生成"的设计使其在各项物理模型精度指标上均达到领先水平。与上一代相比，Cosmos 2 和 2.5 将感知与生成拆分为独立模型，模态仅限文本、图像和视频；而 Cosmos 3 可同时生成文本、图像、视频、声音和行动，属于真正的多模态全能力模型。 二、四类核心能力 1. 高性能视觉 AI 推理：可作为视觉语言模型（VLM）使用，在复杂现实场景中对物体、交互和意图进行推理，支持质量检查、公共安全、流量监控、物流和辅助驾驶等领域的实时警报与高密度图文描述。 2. 构建策略模型：以 Cosmos 3 作为世界行动模型（WAM）的骨架网络，加速机器人策略学习；在专用摄像头和具身数据上对通用世界基础模型进行后训练，把预学习的行动能力大规模适配到特定任务、领域和行为。 3. 模拟世界：作为可控、基于物理的世界仿真器运行，可预测多种可能路径、在闭环中评估结果并收敛到正确行为，让开发者在不承担现实世界风险的前提下持续迭代环境、任务与条件。 4. 扩展合成视频数据：依据文本、图像、视频、环境声音和行动输入，生成无限可信的未来场景，用视频生成能力突破实拍数据的限制来训练物理 AI。 三、开放工具链：从数据到部署 Cosmos 提供一整套开放框架与技能： - Cosmos Curator：快速对海量传感器数据进行过滤、注释和去重； - Cosmos Evaluator：大规模查看并给生成的视频输出打分； - 开放的后训练、评估、优化框架与推理脚本，用于快速构建、微调或部署世界模型； - 面向合成数据生成的智能体技能（Agent Skills），可把编码智能体转化为物理 AI 合成数据专家； - NVIDIA TAO 7 提供智能体技能与工具，包括编码智能体和自然语言提示词，用于微调 Cosmos 3 等视觉 AI 模型。 四、典型用例 - 机器人学习：构建使具身智能体能在真实环境中、可见与不可见条件下运行的策略；针对特定任务、环境、摄像头或传感器布局对 Cosmos 3 后训练；运行物理精准的闭环仿真；用智能体技能搭建端到端合成数据增强与评估工作流。 - 智能汽车训练：生成自定义、多样化、高保真的传感器数据，安全地训练、测试和验证智能汽车；用新的天气、光照和地理位置数据增强现有数据多样性；后训练以扩展到多传感器视图。 - 视频分析 AI 智能体：对实时或录制视频流进行分析、总结与交互，提供实时上下文警报，可与视频"对话"并从实时摄像头流或大规模视频库中提取洞察；结合 NVIDIA Metropolis Blueprint 实现视频搜索与总结，并生成合成训练数据以进一步提升理解模型精度。 五、性能与生态 Cosmos 3 针对 NVIDIA 硬件做了优化，NVIDIA RTX PRO 系列工作站可加速机器人、智能汽车和 AI 智能体的物理 AI 开发，覆盖训练、合成数据生成、仿真与推理。官方表示，机器人、智能汽车与视觉 AI 领域的模型开发者已在用 Cosmos 加速物理 AI 开发。 六、许可与上手方式 Cosmos 世界基础模型依据 Linux Foundation 的 OpenMDW 1.1 许可提供，Cosmos 3 已在 GitHub 开源，每种模态和模块都附带后训练脚本。开发者可直接下载模型与代码，也可在托管目录中试用，或通过开发指南中的实战示例快速上手。此外，也可借助 Cosmos Curator 预处理视频数据、用 Cosmos tokenizer 压缩与解码数据，再基于自选基础模型训练或调优；模型可通过 NVIDIA NIM 集成到云端、数据中心和工作站应用，并用 NVIDIA DGX Cloud 训练与大规模部署。 七、与 Omniverse 的分工 Omniverse 依靠生成式 API、SDK 与 RTX 渲染技术构建逼真的 3D 仿真环境；开发者可将 Omniverse 仿真作为指令视频输入 Co…
https://www.fde.pub/news/861