NVIDIA Cosmos 3 发布:首个原生支持推理、世界与行动生成的全方位物理 AI 基础模型
# NVIDIA Cosmos 3 发布:首个原生支持推理、世界与行动生成的全方位物理 AI 基础模型 **原文链接:https://www.nvidia.cn/ai/cosmos/** **来源:AnySearch 企业AI** NVIDIA 推出 Cosmos 3,定位为开放物理 AI 基础模型,官方称其为首个在…
# NVIDIA Cosmos 3 发布:首个原生支持推理、世界与行动生成的全方位物理 AI 基础模型 **原文链接:https://www.nvidia.cn/ai/cosmos/** **来源:AnySearch 企业AI** NVIDIA 推出 Cosmos 3,定位为开放物理 AI 基础模型,官方称其为首个在单一模型中同时具备原生推理、世界生成与行动生成能力的"全方位模型"(Omnimodel),底层采用 Mixture-of-Transformers 架构。该模型将像素、动作、声音和语言融为一体,可完成推理、规划并生成下一步动作。 一、架构与能力 Cosmos 3 基于混合 Transformer 体系:推理模块与生成器模块使用不同的 Transformer 实现高效生成与性能,因此模型先推理、再生成,在多项物理建模精度指标上取得领先表现。相比 Cosmos 2.5 与 Cosmos 2(感知与生成分离、模态仅限文本/图像/视频),Cosmos 3 可统一生成文本、图像、视频、声音与行动。 主要能力方向包括: - 高性能视觉 AI 推理:作为视觉语言模型(VLM)使用,在复杂现实场景中对物体、交互与意图进行推理,可用于质量检查、公共安全、流量监控、物流与辅助驾驶中的实时警报和高密度图文描述。 - 构建策略模型:以 Cosmos 3 作为世界行动模型(WAM)的骨架网络,加速机器人策略学习;在专用摄像头与具身数据上对广义世界基础模型进行后训练,把预学习的行动大规模适配到特定任务、领域与行为。 - 模拟世界:作为可控制、基于物理的世界仿真器运行,预测多种可能路径、在闭环中评估结果并收敛到正确行为,在无现实风险的前提下持续改进。 - 扩展合成视频数据:依据文本、图像、视频、环境声音与行动输入,生成大量可信的未来场景,用生成式视频突破实拍数据限制来训练物理 AI。 二、开发与工具链 开发者可直接下载开放模型与代码,或在托管目录中试用 Cosmos 模型,也可通过开发指南中的实战示例快速上手。围绕 Cosmos 3 的开放框架包括: - 数据处理:Cosmos Curator 用于对海量传感器数据快速过滤、注释与去重;Cosmos Evaluator 用于大规模查看并给生成的视频输出打分。 - 训练与加速:提供开放的后训练、评估、优化框架以及推理脚本和技能,便于快速构建、后训练或部署世界模型。 - 智能体技能:可将编码智能体转化为物理 AI 合成数据专家,形成端到端的合成数据增强与评估工作流。 - 后训练支持:Cosmos 3 已在 GitHub 开源,各模态与模组均提供后训练脚本;NVIDIA TAO 7 提供智能体技能与自然语言提示词工具,用于微调 Cosmos 3 等视觉 AI 模型。 三、典型应用场景 1. 机器人学习:构建机器人学习策略,使具身智能体在可见与不可见条件下均可在真实环境中运行;针对特定任务、环境、摄像头或传感器布局进行后训练;运行物理精准的闭环仿真;利用基于 Cosmos 的智能体技能创建端到端合成数据增强与评估流程。 2. 智能汽车训练:生成自定义、多样、高保真的传感器数据,用于安全地训练、测试与验证智能汽车;通过新的天气、光照与地理位置数据增强数据多样性;后训练以扩展到多传感器视图。 3. 视频分析 AI 智能体:借助 Cosmos,智能体可对实时或录制视频流进行分析、总结与交互,提供实时上下文警报、支持"与视频对话"并从实时摄像头流或大规模视频库中提取洞察;可结合 NVIDIA Metropolis Blueprint 实现视频搜索与总结,并生成合成训练数据进一步提升理解模型精度。 四、性能与生态 Cosmos 3 针对 NVIDIA 硬件做了优化,NVIDIA RTX PRO 系列工作站可加速机器人、智能汽车与 AI 智能体的物理 AI 开发,覆盖训练、合成数据生成、仿真与推理。官方表示,机器人开发、智能汽车与视觉 AI 行业的模型开发者已在用 Cosmos 加速物理 AI 开发。 五、许可与常见问题 Cosmos 世界基础模型(WFM)依据 Linux Foundation 的 OpenMDW 1.1 许可提供。开发者也可使用自有基础模型或架构从零构建世界模型:先用 Cosmos Curator 做视频数据预处理,再用 Cosmos tokenizer 压缩与解码,随后训练或调优模型。借助 NVIDIA NIM 可将物理 AI 模型集成到云端、数据中心与工作站应用,使用 NVIDIA DGX Cloud 训练并大规模部署。 关于 Cosmos 与 Omniverse 的区别:Omniverse 通过生成式 API、SDK 与 NVIDIA RTX 渲染技术构建逼真的 3D 仿真环境,开发者可…
https://www.fde.pub/news/860