官网Cosmos 3 — Cosmos Labgithub: https://github.com/NVIDIA/cosmos1. 介绍英伟达最近发布了Cosmos 3一款基于突破性Transformer混合架构的物理AI世界模型。核心思想是打造一个面向物理 AI 的“通用全模态世界模型”通过统一架构和渐进式训练将“理解”与“生成”无缝融合在同一套 Transformer 骨干网络中利用自回归AR分支处理语言和视觉理解同时利用扩散Diffusion分支合成图像、视频、音频及动作。如图1所示根据输入输出配置Cosmos 3可以在多种操作模式之间无缝转换它可以作为多模式理解和推理的视觉语言模型运行文本到图像生成器、用于文本到视频合成、图像动画图像到视频、未来预测视频到视频或同步音频-视频生成的视频生成器用于联合行动预测和环境模拟的世界行动模型​​​在经过预训练和中期训练之后得到了如下通用基础模型支持所有模态文本、图像、视频、音频、动作Action 能处理所有的生成模式适用场景直接做推理 / 自定义微调Cosmos3-edge 4B官方暂时未提供权重Cosmos3-Nano 16BCosmos3-Super64B基于通用基础模型在下游特定任务微调就可以生成专家模型Cosmos3-Nano-Policy-DROID16B基于Cosmos3-Nano在DROID 机器人数据集进行微调可以 输入多视角图像和本体状态预测动作Cosmos3-Super-Image2Video 64BCosmos3-Super-Text2Image 64B2. 模型架构Cosmos 3能够处理多模式输入并生成多模式输出包括语言、视觉图像和视频、音频和动作集成了特定于模态的编码器将不同的模态投影到一个统一的表示空间中然后由混合变换器MoT骨干进行处理。在推理过程中语言标记是通过下一个标记预测生成的而其他模态是通过迭代去噪生成的2.1 编码器给定语言、视觉、音频和动作的输入序列经专用编码器统一转化为向量嵌入Embeddings。为了能够区分不同的模态在非语言模态中额外添加可学习的“模态专属嵌入”其作用相当于给向量打上标签Image and Video使用两个独立的编码器。理解任务使用预训练的ViT编码器带DeepStack和时间戳遵循Qwen3-VL设计生成任务使用冻结的Wan2.2视频VAE编码器进行4倍时间压缩和32x32空间压缩ViT编码器与主干网络联合训练用于生成的VAE编码器则冻结Audio采用冻结的音频VAE编码器将48kHz立体声以1920样本的跳跃大小编码产生每秒25个令牌。Action统一动作表示包括自动驾驶汽车、相机运动、机器人和第一人称人类运动头部和手部- 相机和自动驾驶Ego Pose- egocentric data使用头部相机姿态增量作为自我姿势手腕姿势增量作为末端执行器姿势每个手指的指尖位置作为抓握状态- 机器人数据头部相机姿态末端执行器姿态夹爪状态在这篇论文提到采用6D旋转表示On the continuity of rotation representations in neural networks相关博客6D连续旋转表示动作token化解决不同机器人动作维度不一样每一个具体的域Domain配备一套专属的“输入/输出投影层”而共享MoT主干网络x代表标准化的动作向量W和b代表域特定输入投影矩阵和偏差z 代表latent action token将令牌解码回原始动作空间我们使用特定于域的输出投影注意事项1. 模型结构图中Vision和Audio token都使用了专门的编码器和解码器但是action没有使用专门encoder和decoder论文中没有提到但是图中结构有encoder源码中是采用DomainAwareLinear进行动作的编码和解码2. Cosmos3没有显式传入本体状态作为condition输入只有图像 域标识指定机器人类型这一点可以看源码进行验证2.2 token排列和生成模式Cosmos3定义了统一的token排列格式以支持不同任务。双子序列结构自回归AR子序列:负责“理解与推理”输入是包含语言token和ViT编码提取的视觉token扩散DM子序列 负责“视觉与动作生成”输入是VAE 编码器压缩的连续视觉 、音频和动作Token。注意这些输入在训练时是加了噪声Token Arrangement先自回归后扩散序列永远以负责逻辑推理的 AR Token 开头。扩散子序列内部在扩散部分里先放作为“提示词/条件”的清晰 Token如指导视频转换的轮廓视频再放需要被“去噪”生成的目标 Token。多模态顺序固定在每个子序列内部Token 的排列顺序永远是 视觉 - 音频 - 动作生成模式语言生成当输入只有文字或由 ViT 编码的静态图片时Cosmos 3 就退化成了一个标准的VLM文生图输入AR 前缀文字提示词 和 目标图像的噪声 Token噪声图去噪成清晰图像文生视频 / (视频音频)在文本后面拼接一段长度为 n 帧的噪声视频 Token如果生成声音就再拼接噪声音频 Token图生视频 / 视频生视频P1只有1张条件图就是图生视频序列为[文字 清晰的起始帧 后续的噪声视频帧]P1有多张条件图就是视频续写序列为[文字 清晰的前P帧 后续的噪声视频帧]Action生成 正向动态、反向动态和联合视频动作预测策略如下图所示2.3 MoT架构双流联合注意力自回归子序列注意力。AR子序列中的标记仅使用因果自我注意来关注AR子序列内的标记。双流联合注意力DM子序列中的令牌使用完全的双向注意力AR和DM令牌的联合作为键和值。2.4 多模态位置编码多模态位置编码扩展了3D MRoPE以对齐不同采样率的token。下面介绍位置索引分配语言模态纯文本序列没有空间概念坐标设定为 thw3D MRoPE 退化成了标准的 1D RoPE 行为。图像/视频模态 由同一帧中的所有令牌共享且随时间帧递增h 和 w 随空间网格Spatial grid变化。单张图像被视为只有 1 帧的视频其 t 相同只有h 和 w 在空间维度上变化。音频与动作模态Audio/Action它们是纯时序数据没有空间概念所以 hw0。只利用 t 轴 来表示时间的推进每一个采样步长或音频 Hop 增加一次 t原文从以下两个方面介绍多模态位置编码AR与扩散的Token Margin图中的offset问题当模型的最后一个“文本 Token”的位置与第一帧“视频 Token”的位置紧挨着时会导致模型在视频初始帧出现严重的过饱和或棋盘格伪影。这是因为最后一个语言标记和第一帧的视觉标记占据了相邻的时间位置导致几乎相同的时间嵌入。做法在 AR 子序列文本/理解和 DM 子序列视频/生成之间强制插入一个巨大的“固定位置间隙”(15000)避免了位置嵌入的冲突下面举例说明token Margin如何起作用输入参数:temporal_modality_margin 15000und_len 332 (文本长度)Pipeline 先为文本 token 分配连续的位置 ID [0, 1, ..., und_len-1] 然后计算出 vision_start_temporal_offset und_len 15000 接着将这个 offset 作为 所有生成模态vision/sound/action的时间轴起始位置——导致文本token位置 0~331与生成 token位置 15332在旋转位置编码空间中的相对距离高达约 15000使得它们的 RoPE 向量几乎 数学正交从而确保 dual-pathway attention 中文本理解通路的因果性不被生成通路的跨模态注意所干扰下面是3D mRoPE的计算流程绝对时间调制核心思想为了让模型把“Token的序号”和“真实世界的物理时间秒”对应起来问题视频A帧率 60 FPS视频B帧率 24 FPS如果模型只看“Token 数量“模型会认为 A 的时间跨度比 B 长得多但是物理时长是一样的都是 1 秒。需要实现无论视频是 16 FPS 还是 30 FPS只要真实世界过去 1 秒在模型内部的时间坐标轴上占据的长度是完全相等的。基准尺子 — TPS每秒时间步长视频 (Video) 的 TPSCosmos 3 以 24 FPS 作为基准帧率模型里面有一个 VAE 编码器它会在时间维度上把视频压缩 4 倍即4个视频帧合并成 1 个内部 Token视频基准 TPS为 6音频基准 TPS25动作的TPS等于动作数据的采样频率时间增量公式决定了一帧在时间轴上应该走多远简单来说绝对时间调制建立了TPS基准保证了视频、音频和动作基于这个时间基准进行对齐确保生成的内容中视频、音频和动作都是同步的同时也让模型理解了“快慢”。源码中提到只有声音和动作存在可学习的模态偏置语言和视觉不需要。主要因为语言token和视觉 token通过margin已经隔开对于视觉token每帧都进行的patch切换h,w ≠ 0 自然产生不同的 RoPE 编码。对于audio和acition只有时序信息所以需要加入额外的模态偏置进行区分。通过这样的操作就可以区分视觉、音频和动作的token2.5 模型版本基础通用模型包括以下三个版本Cosmos3-Edge4B基于 Qwen3-1.7B 架构设计的但需要从头开始训练适合在手机、嵌入式设备等算力有限的端侧设备上运行Cosmos3-Nano轻量级16B基于预先训练的Qwen3-VL 8B 权重进行初始化适合单卡推理或算力适中的服务器Cosmos3-Super超大规模64B基于预先训练的Qwen3-VL 32B 权重进行初始化算力充足的大型数据中心追求最高质量的视频/图像生成和理解能力3. 数据Cosmos 3 的训练分为 5 个主阶段 Reasoner预训练学通用多模态理解在22M样本上进行以OCR、VQA、captioning、grounding、image/video reasoning等任务为主。监督微调约2.2M样本专注于机器人、自动驾驶、智能基础设施等Physical AI任Generator预训练在大规模图像7.67亿、视频3.477亿片段和音频数据上进行采用多分辨率训练256p, 480p, 720p和序列打包。中期训练保留 image/video/audio 生成能力的同时引入 action、video transfer、driving transfer等任务。后训练在特定领域数据集上进行以生产领域专家模型Cosmos3-Super-Text2Image, Cosmos3-Super-Image2Video, Cosmos3-Nano-Policy-DROID后续介绍各个训练阶段用到的数据3.1 Reasoner Data总共使用了 2420万24.2M 个样本并划分为两个差异极大的阶段预训练阶段 (Pre-training, 22.0M 样本) 定位“海量、广度”。主要目的是让模型获得广泛的基础视觉和语言理解能力。 数据组成以图像-文本Image-text为主导占绝大比例约1880万。监督微调阶段 (SFT, 2.2M 样本) 定位“精准、专业”。主要目的是将模型的能力向物理 AI (Physical AI) 专精化转变。 数据组成视频-文本Video-text样本的比例被大幅拉高占据了整个 SFT 数据集 50% 的份额。这些数据专门强化模型在机器人、智能基础设施、自动驾驶等领域的时空理解与物理因果关系。3.2 Reasoner Data三阶段渐进式训练 (Progressive Multi-stage Curriculum)第一阶段预训练 (Pre-training) —— 打基础、看海量数据 规模高达 7.67亿 张图像3.48亿 个视频片段。 模态专注于文生图、文生视频、以及视频续写。这个阶段模型学会了基本的多模态对齐。第二阶段中期训练 (Mid-training) —— 提质量、引入物理AI动作。 规模预训练数据被大幅度压缩例如图部分压缩到 1600万换来的是极高的数据质量。 新增模态在此阶段动作模态 (Action) 和 视频迁移 (Video Transfer)首次被引入训练。 成果经过 Mid-training 后得到基础模型 Cosmos3-Nano 和 Cosmos3-Super。第三阶段后期训练 (Post-training) —— 做精专、领域定制 定位不再是泛化训练而是有监督的微调SFT旨在解决特定能力缺口。 产出领域专精模型 Cosmos3-Super-Text2Image (文生图专家) Cosmos3-Super-Image2Video (图生视频专家) Cosmos3-Nano-Policy-DROID (具身智能动作策略专家)为什么要在模型中引入“动作”普通视频生成的局限纯视频训练让模型学会了“预测接下来可能发生什么”但它无法理解“因果关系”。 引入数据让模型学到了双向关系 给定动作预测未来的视觉状态正向动力学 给定视觉轨迹推断是什么动作导致了这种变化逆向动力学动作数据全景分布宏观规模总计 840万 (8.4M) 个动作片段总时长高达 6.13万小时 (61.3K hours)。四大来源支柱自我中心运动 (Egocentric motion占比 67.4% )时长 4.13万小时。主要来自于一种头戴式 RGB 相机捕捉的双手操作专有数据集。它不仅包含动作每一帧还同步标注了头部相机的位姿 (Camera pose) 和双手的 21 个 3D 关键点 (Hand keypoints)让模型能同时学习“第一人称视野运动”和“精细的手部动作”。自动驾驶 (Autonomous vehicle占比 16.3%)时长 1.0万小时。来源于 NVIDIA Hyperion 平台采集的高质量内部驾驶日志。包含丰富的天气、光照、路况和复杂的横向/纵向操纵。机器人 (Robotics占比 8.7%)时长 5,400小时。从开源的数据集中聚合而来见下方表4解析。相机运动 (Camera motion占比 7.5%)时长 4,600小时。从预训练的视频中提取。通过 ViPE 和 DepthAnything3 等模型估算相机位姿过滤掉剧烈抖动和异常相机内参转化为动作轨迹。这帮助模型理解镜头的推拉摇移是如何改变视觉画面的。8.7% (5,400小时) 机器人数据的来源涵盖的机器人Agibot (338个任务)、Franka Panda (67,500个任务442小时)、Google Robot (599个任务)、WidowX-250 (21,800个任务)、UMI (43个任务)、UR (114个任务)。总计包含 90,400 个任务。核心处理方式为了兼容不同机器人的物理控制方式PID控制、低电平致动接口等将底层指令统一转化为基于状态差异的“伪动作 (Pseudo-actions)”。并且不仅保留成功的数据也保留了失败的数据让模型能学习到“错误的动作会导致什么糟糕的结果”。数据标准化处理 比例归一化 (Scaling)计算每个维度的归一化因子将不同来源的动作向量幅度统一压缩映射到 [-1, 1] 的区间内。多视角画布拼接 (Multi-view canvas)如果数据包含多个同步的视角如自动驾驶的前视、侧视、后视多个摄像头会将它们进行拼接保留空闲操作 (Idle-step count)4. 训练推理器和生成器共享相同的 Transformer 块架构训练好的推理器权重被用来初始化生成器。生成器预训练只更新与生成相关的参数推理参数保持冻结中期、后期训练也是一样4.1 Reasoner Training预训练端到端联合训练所有组件语言模型、ViT视觉编码器、多模态投影层上实行从头到尾的联合训练基于一个强大的预训练 VLMEdge用自研Nano用 Qwen3-VL-8BSuper用 Qwen3-VL-32B进行训练数据采样无放回采样在整个训练过程中同一个样本不会被重复采样序列长度限制将预训练时的最大上下文窗口限制在 16k Token采用 “平方根归一化逐 Token 损失权重”解决预训练数据中长短序列混杂监督微调数据采样根据每个数据集在物理 AI 领域的重要性、数据质量和规模为其分配固定的采样权重预训练数据回流防灾难性遗忘采用固定 1:4 的预训练与 SFT 采样比。即给模型 4 个微调样本就强行混入 1 个高质量的预训练样本。这个设计极大地保持了模型的鲁棒性和通用能力4.2 Generator Training训练目标整流流匹配Rectified Flow Matching1. 预训练策略多分辨率训练三个层级 (Tiers)256p、480p、720p 三种分辨率且包含 5 种宽高比16:9, 4:3, 1:1, 3:4, 9:16独特的数据混合比例视频80%和图像20%联合训练。 分辨率分布480p 占 40%256p 与 720p 各占 20%。这种分配是为了在“高保真”和“样本多样性”之间取得最佳平衡。工程优化序列打包问题长短不一的视频/图像导致输入长度差异极大。传统做法是补零Padding对齐这会严重浪费 GPU 算力。解决方案采用 “序列打包” 技术。 做法模型设定了一个 74,000 Token 的固定上下文窗口。系统在送入 GPU 前会将长短不一的分辨率片段贪婪地拼接到一起直到完全填满 74,000 的限制预训练中混合了四种条件模式数据文生图 (Text-to-Image, 比例 20%)模型学习仅凭文字生成单张图文生视频 (Text-to-Video, 比例 56% )给定文本以及元数据持续时长、FPS、时间戳从零去噪生成整段视频图生视频 (Image-to-Video, 比例 16%)模型必须根据第一帧文本提示词预测后续帧。视频生视频 (Video-to-Video, 比例 8%)引入前5帧真实视频作为条件模型完成视频续写硬件算力Cosmos3-Nano 预训练使用了 1024 张 NVIDIA GB200 显卡在 31.05T3.1万亿 规模的 Token 上进行训练。Cosmos3-Super 预训练使用了 2048 张 NVIDIA GB200 显卡在 17.86T17.8万亿 规模的 Token 上进行训练。2. Mid-Training核心思想大规模引入预训练中缺乏的稀缺物理数据如精细人体动作、机器人物理动力学、自动驾驶场景引入动作Action和视频生成控制信号Control。数据配比转变 预训练阶段几乎全是图文和视频而到了 Mid-Training物理任务相关的训练数据占据了超过 50%。动作损失权重放大因为动作向量的数值通常较小论文将 Action 的损失函数Loss单独放大了 10 倍算力与数据规模 Cosmos3-Nano在 2.4T (2.4万亿) Token 上进行中期训练使用 1024 张 GB200 显卡。 Cosmos3-Super在 1.9T Token 上训练使用 2048 张 GB200 显卡。3. Post-Training目标精准的监督微调SFT把基础模型炼制为具体的、垂直领域的专家模型Cosmos3-Super-Text2Image文生图训练策略两阶段 SFT阶段 1广泛语义微调2万步。数据配比45% 真实图像 40% 合成图像 15% 纯文字渲染数据。在提升视觉保真度的同时死死保住语言理解能力。阶段 2高质量精调最后 2000 步。仅使用47 万对超高质量图像-字幕对进一步提升美学感和人类偏好对齐。成绩在 UniGenBench 基准测试中全面领先位列开源模型 Top 1得分 91.36。Cosmos3-Super-Image2Video图生视频 目标在物理 AI 和具身机器人中作为关键的“未来预测机制世界模拟器”。核心数据 部分过滤后的预训练数据 1000 个手工精调视频 20k 个 合成视频剪辑固定输出为480p / 24fps成绩在 Artificial Analysis Image-to-Video 排行榜上位列 开源模型 Top 1。Cosmos3-Nano-Policy-DROID具身机器人策略专家目标Cosmos 3全模态世界模型扩展为机器人策略模型硬件平台使用 Franka Panda 7-DoF七自由度机械臂 Robotiq 2F-85 平行夹爪数据集DROID 数据集包含 7.6万 条真实交互轨迹、350小时 交互数据、86个 复杂桌面操作任务模型架构修改修改动作解码器重新初始化了动作编码器、动作解码 MLP 和动作嵌入 Token输入模态3个视角 本体感受状态 手腕视角360×640以及底部左侧与右侧两个外部环境视角180×320输出预测未来 32 个绝对关节位置动作额外输出辅助的 RGB 视频帧控制频率15Hz推理优化 极少的去噪步数4步以及CFG 并行成绩在 RoboLab 和 RoboArena 两大机器人策略基准测试中排名 世界第一5. 基础设施Cosmos 3 的基础设施是一个覆盖了从“海量原始数据”到“最终物理世界部署”的全生命周期端到端工程体系。原论文有很大一部分描述这一块内容可自行看原论文这里进行简单总结。数据基础设施— SILA 平台定位解决百亿级多模态数据的清洗、标注、去重难题。 研发了 SILA可扩展大规模数据处理与标注基础设施提出关键技术“统一列式Lance数据库”、 AI大模型打分系统 对数据进行严格过滤、通过分阶段Ray执行引擎降低任务延迟大规模训练基础设施将清洗好的数据送入千卡 GPU 集群进行高性能分布式训练解决了多模态数据“长短不一”导致的 GPU 算力浪费问题模型服务基础设施 (Model Serving) 将训练好的大模型转化为工业级、低延迟的推理服务实现了推理器理解与生成器生成在物理硬件上的极致加速。基准测试与验证基础设施 (Benchmarking Validation)建立了“评测分离”的可追溯体系实现对模型进行自动化、系统化评估以数据驱动迭代。6. 实验结果总体结果推理基准测试生成基准测试文生图视频生成音频生成动作论文提到这个是在RoboLab仿真基准测试的结果下面是在RoboArena real-world benchmark测试的结果