---
title: "NVIDIA扩展Cosmos工具以支持世界模型训练与部署"
canonical: "https://siyuanailab.com/curation/translations/d2314c67100e213f0a92deaa7c932569-f5ee0683f8c9981428f4631b515fa47bf124111270bc1c40558cc86b37ce7686/"
dateModified: "2026-10-23"
datePublished: "2026-10-23"
---

[返回日报条目](https://siyuanailab.com/curation/#entry/d2314c67100e213f0a92deaa7c932569)

 

资料节译

 

# NVIDIA扩展Cosmos工具以支持世界模型训练与部署

 

[阅读原文](https://blogs.nvidia.com/blog/cosmos-open-train-evaluate-deploy-world-models/)

 

现有资料无法确认原文完整，本页只翻译已取得的材料。

 

现有原件无法确认图片是否齐全。

 

为帮助开发者快速构建[世界模型](https://www.nvidia.com/en-us/glossary/world-models/)，使[物理 AI](https://www.nvidia.com/en-us/glossary/generative-physical-ai/)系统能够理解并模拟现实世界，NVIDIA 扩展了[Cosmos 平台](https://www.nvidia.com/en-us/ai/cosmos/)，新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图。

 

NVIDIA Cosmos 平台在六个不同的开放模型排行榜上均位列前五，为世界模型构建者提供前沿开放模型，以及数据、训练和优化工具与配方，帮助他们扩充训练数据、适配模型、测试行为，并在部署前优化性能。

 

构建世界模型始于多模态、多感官数据。

 

[NVIDIA Cosmos Data Factory](https://github.com/NVIDIA/cosmos-data-factory)汇集了用于大规模标注、整理、增强和评估数据的工具与技能，以训练物理 AI。Cosmos Curator 是一款由 GPU 加速的视频训练数据集整理方案，现已新增对多模态、多感官输入和处理模块的支持。

 

Cosmos Data Factory 现提供以下五种云原生蓝图，可通过[GitHub](https://github.com/NVIDIA/cosmos-data-factory)、[Microsoft Azure](https://www.microsoft.com/en-us/microsoft-cloud/blog/mobility/automotive/2026/10/21/advancing-autonomous-vehicle-development-with-microsoft-nvidia-porsche-and-voxel51/)、[Nebius](https://nebius.com/blog/posts/nebius-expands-physical-ai-workbench-agentic-workflows-nvidia-cosmos%E2%81%A0%EF%BF%BD%C3%A2%C2%80%C2%9D%20with%20%C3%A2%C2%80%C2%9Chttps://nebius.com/blog/posts/physical-ai-workbench)和[CoreWeave](https://coreweave.com/news/coreweave-unveils-coreweave-physical-ai-launchables-taking-the-setup-work-out-of-robotics-and-av-development)获取：

 

- **自动驾驶车辆数据集生成：**整理并标注驾驶数据，再添加难以捕捉场景的合成示例，以扩大训练覆盖范围。
 
- **图像属性增强：**改变物体外观，以改进图像搜索。
 
- **事件视频生成：**将静态图像转换为罕见或不安全事件的合成视频。
 
- **缺陷图像生成：**生成印刷电路板、金属和玻璃缺陷图像，供检测模型使用。
 
- **视频数据增强：**改变现有视频片段中的天气和光照，同时保留场景结构。

 

*Cosmos Data Factory 借助智能体技能加速数据整理、处理和合成数据生成。*

 

各家公司已开始使用 Cosmos Data Factory 蓝图，加快其物理 AI 开发工作流程。

 

保时捷正牵头在大众汽车集团旗下品牌间开发共享的自动驾驶车辆数据飞轮，并通过 Voxel51 在 Microsoft Azure 上使用 Cosmos Data Factory。预计这将使重复的实车测试里程最多减少 90%，并将开发周期缩短最多 85%。

 

*保时捷通过 Cosmos Data Factory 驱动的 Voxel51 搜索并增强自动驾驶车辆数据视频片段。*

 

ANYbotics 使用 Cosmos Data Factory 蓝图生成了 1,500 多个合成视频片段，通过整理真实世界数据并使用[Encord 的](https://encord.com/data-labs/nvidia-anybotics-synthetic-data/)平台验证输出，训练其工业检测机器人识别液体溢漏及设施两次巡检间发生的其他变化。

 

*ANYbotics* *使用* *由 NVIDIA Cosmos Data Factory 驱动的* *Encord* *生成异常片段。*

 

[Ultralytics](https://www.ultralytics.com/blog/nvidia-cosmos-yolo-synthetic-defect-detection?utm_source=nvidia&utm_medium=referra)是一家计算机视觉公司，该公司使用真实图像以及通过 Cosmos Data Factory 生成的定向合成缺陷图像重新训练其 YOLO 模型，从而提高了缺陷定位能力和召回率。

 

准备好训练数据后，开发者可以训练自己的架构，也可以从预训练模型开始。

 

在 GTC Berlin 上，NVIDIA 将[Cosmos Framework](https://github.com/NVIDIA/cosmos-framework)的训练、优化和部署工具及配方作为智能体技能扩展到更多开放模型，同时推出 Cosmos 3，为世界模型构建者提供从实验到部署的更快捷路径。

 

开发者和智能体现在可以通过微调和强化学习适配[GR00T](https://developer.nvidia.com/isaac/gr00t)、[Alpamayo](https://www.nvidia.com/en-us/solutions/autonomous-vehicles/alpamayo/)、QWEN、Pi0.5 等开放模型，以及其他兼容的 Hugging Face 模型；还可以通过蒸馏和量化优化模型，并使用高性能推理进行部署。

 

为了开发专用于第一人称操作的世界模型，机器人研究实验室 MicroAGI 使用人类操纵物体的视频对 Cosmos 3 进行后训练，并将其 320 亿参数的推理模型蒸馏为 80 亿参数的 Nano 模型，且准确率没有下降。

 

开发者可以在[Roboflow](http://blog.roboflow.com/roboflow-joins-nvidia-cosmos-coalition)上标注数据并针对特定环境和任务对 Cosmos 3 进行后训练，然后将这些模型部署到 RoboFlow 托管的 NVIDIA GPU 或本地部署的 NVIDIA GPU 上，将视频推理能力带入工厂和仓库。

 

在推进这些工具的同时，NVIDIA 也继续通过 Cosmos 模型的研发推动基础技术发展。

 

面向仿真的新款[Cosmos 3 Nano 模型变体](https://huggingface.co/collections/nvidia/cosmos3-examples)使开发者能够在可重复、难以捕捉的多视角多传感器场景中测试自动驾驶策略。配套代码允许开发者调整模型，在交互式仿真中训练和评估自动驾驶车辆及双手机器人策略，然后再进行现实世界测试。

 

开发者可以使用更新后的[NVIDIA Cosmos 3 NIM](https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/cosmos3/-)微服务部署核心 Cosmos 模型。在经过验证的配置中，这些微服务可在质量不下降的情况下将推理速度提升至 2 倍，而持续视频分析可实现亚秒级警报。

 

对于视觉 AI 开发者而言，基于 Cosmos NIM 微服务构建的新版[NVIDIA Metropolis 视频搜索与摘要（VSS）3.3 蓝图](https://build.nvidia.com/nvidia/video-search-and-summarization)，可将单个提示转换为高效的视频 AI 应用，并帮助团队在使用相同 GPU 的情况下监控多 40% 的视频流。

 

ADNOC 使用基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建的 Fogsphere 的 MistIQ 智能体平台，在 65 个站点实时检测安全隐患。对于罕见事件，[Fogsphere](https://fogsphere.com/fogsphere-scales-ai-agents-at-adnoc/)还使用 Cosmos Data Factory 生成合成训练数据，从而改进检测能力，无需实际布置危险场景。

 

*Cosmos 平台完全模块化且开放。开发者可以使用* *Cosmos Data Factory* *生成训练数据集，使用* *Cosmos Framework* *训练和适配世界模型，然后通过 NIM 微服务部署受支持的* *Cosmos 模型**。*

 

AI 翻译；具体表述请与原文对照。