在物理 AI 与具身智能项目里最让人头疼的往往不是模型算法本身而是两件事第一真实场景数据太贵、太难采集第二模型在垂直领域里表现不稳定。比如做智慧城市车流识别晴天效果尚可一到雨雾天气误报率就明显上升做农业机器人采摘换一个果园、换一种光照之前调好的视觉模型又要重新调参。这些问题背后其实都绕不开三个关键词世界基础模型World Foundation Model, WFM、视觉语言模型Vision-Language Model, VLM和合成数据Synthetic Data。本文围绕 Cosmos 3 后训练实战完整梳理一条可落地的技术链路先用 Cosmos 3 生成农业机器人场景的合成数据再结合少量真实数据构建 VLM 后训练集微调后部署到智慧城市视频流推理任务中做效果验证。文章会说明每个环节为什么这样做也会给出可运行的示例代码、常见报错排查表和工程落地建议。如果你正在做视觉语言模型选型、VLM 后训练、合成数据增强或者想了解 Cosmos 3 能干什么这篇文章会比较适合你。全文采用中英双语的术语注释方式代码关键位置也保留双语注释方便对照学习。1. 背景与核心概念1.1 Cosmos 3 是什么Cosmos 3 是 NVIDIA 推出的世界基础模型World Foundation Model系列在 3.x 版本中的核心成果。它并不是一个单一模型而是一组面向物理 AI 场景的模型和工具链主要目标是让模型理解“物理世界如何运转”并能够生成接近真实物理规律的视频帧序列。在机器人、自动驾驶、智慧城市等场景中模型需要理解的不只是静态图像里的物体类别还包括物体的空间关系、运动趋势、光照变化、遮挡关系、因果推断等。这类能力很难从普通图像分类数据集中学习而 Cosmos 3 等世界模型的核心价值就是通过对海量物理世界视频的学习建立对“下一秒可能发生什么”的预测能力。与传统的文生视频模型相比Cosmos 3 更强调可控性和物理合理性。它能够在文本指令、相机参数、运动轨迹等条件的约束下生成指定场景的连续视频帧。这样的合成视频可以作为下游视觉模型的训练数据从而减少对真实数据的依赖。1.2 什么是后训练Post-training大模型领域通常把训练过程分为预训练Pre-training和后训练Post-training两个阶段。预训练负责让模型学习通用语言、视觉和世界知识而后训练则负责让模型适配特定任务、特定领域和特定的交互方式。常见的后训练方法包括方法英文全称说明监督微调Supervised Fine-Tuning, SFT用带标注的任务数据调整模型参数低秩适配Low-Rank Adaptation, LoRA冻结原模型只训练低秩矩阵节省显存基于人类反馈的强化学习RLHF通过奖励模型优化生成质量直接偏好优化Direct Preference Optimization, DPO用偏好对直接优化无需奖励模型在本文的场景中后训练的主要目的是让预训练 VLM 更好地理解智慧城市和农业机器人这两个垂直领域的图像内容例如能够正确回答“画面中是否有行人闯红灯”“这个番茄的成熟度是多少”等细粒度问题。1.3 VLM 推理解决什么问题视觉语言模型Vision-Language Model, VLM能够同时处理图像输入和文本输入输出文本描述或结构化信息。与传统的目标检测模型相比VLM 的优势在于支持开放词汇不仅能识别训练集中出现过的类别还能理解自然语言描述的新类别。具备上下文理解能结合画面中的物体关系、场景背景进行推理。输出更灵活可以直接输出自然语言答案也可以借助提示词输出 JSON 等结构化格式。在智慧城市场景里VLM 可以完成事件检测、要素描述、异常预警等任务。例如给定一段监控视频帧模型能输出“画面中有 3 辆机动车1 辆正在左转行人处于等待状态”这类结构化描述。1.4 为什么需要合成数据智慧城市和农业机器人场景的数据采集都有明显瓶颈。智慧城市视频涉及隐私与合规问题农业机器人的田间数据受季节、天气、地域限制采集成本高且难以覆盖长尾场景。合成数据Synthetic Data可以在一定程度上缓解这些问题。使用 Cosmos 3 生成带有物理规律的运动视频让模型在训练阶段见过更多“对抗样本”例如夜间强光、雨天反光、果实遮挡等情况。这样当模型部署到真实环境时泛化能力会更强。但需要强调合成数据不是万能的它不能完全替代真实数据。更合理的做法是“真实数据 合成数据”混合训练并通过验证集持续评估数据质量。2. 环境准备与版本说明在开始实操之前先理清当前示例环境。后续代码基于以下配置运行如果你的环境不同需要根据实际情况调整。2.1 硬件与系统要求Cosmos 3 合成数据生成和 VLM 后训练都属于资源密集型任务建议使用 NVIDIA GPU。显存规模直接决定了可以生成的视频分辨率以及微调时使用的批量大小。资源建议要求GPUNVIDIA RTX 3090 / 4090 / A100 / H100 或更高显存16 GB 以上生成高分辨率视频或微调 7B 以上模型时需要更大显存系统Ubuntu 22.04 或 Windows 11WSL2磁盘建议预留 100 GB 以上空间存放模型权重和数据集如果暂时没有足够显存可以先使用小模型、低分辨率和更小的 batch size 验证流程再迁移到更大规模环境。2.2 Python 与深度学习框架以下版本组合是当前比较常见且稳定的配置具体以官方文档为准Python 3.10 或 3.11CUDA 12.1 或更高PyTorch 2.1 或更高Transformers 4.40 或更高PEFT 0.10 或更高Datasets 2.18 或更高Accelerate 0.30 或更高先创建一个独立的 Conda 环境conda create -n cosmos-ai python3.11 -y conda activate cosmos-ai pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft accelerate datasets pillow tensorboard注意PyTorch 的安装命令需要结合 CUDA 版本调整。如果使用 WSL2需要确保 Windows 侧已安装最新的 NVIDIA 驱动并在 WSL2 内执行nvidia-smi确认 GPU 可见。2.3 项目目录结构为了方便后续操作建议按照下面结构组织项目cosmos-finetune-lab/ ├── data/ │ ├── real/ # 真实图像与标注 │ ├── synthetic/ # Cosmos 生成数据 │ └── annotations/ # 标注 JSON ├── models/ │ ├── pretrained/ # 预训练 VLM 权重 │ └── finetuned/ # 后训练输出权重 ├── scripts/ │ ├── generate_synthetic.py # 合成数据生成脚本 │ ├── prepare_dataset.py # 数据集构建脚本 │ ├── train_lora.py # LoRA 后训练脚本 │ └── inference.py # VLM 推理脚本 ├── configs/ │ ├── lora_config.yaml │ └── data_config.yaml └── output/ ├── logs/ └── results/3. 核心原理拆解后训练、VLM 推理与合成数据生成在进入完整代码前先拆解三个关键模块的原理这能帮助你理解后面每一步操作的意义。3.1 后训练到底改了什么预训练模型已经具备很强的通用能力但在垂直领域中会出现“能力有但不在点子上”的情况。例如模型知道番茄是红色的果实但无法判断“番茄表面有明显褐色斑点”是否意味着病虫害。后训练就是通过新的标注数据把模型原先分散的知识引导到特定任务上。以 LoRA 为例它的做法是在原始权重矩阵旁边新增两个低秩矩阵训练时只更新这两个矩阵。# 示意LoRA 的更新逻辑简化版 # 原始公式output W * input # LoRA 公式output (W A B) * input # 其中 W 被冻结A 和 B 是低秩矩阵秩为 r import torch import torch.nn as nn class LoRALinear(nn.Module): def __init__(self, in_features, out_features, r16): super().__init__() self.weight nn.Parameter(torch.randn(out_features, in_features)) self.weight.requires_grad False # 冻结原权重 self.lora_a nn.Parameter(torch.randn(in_features, r) * 0.01) self.lora_b nn.Parameter(torch.randn(r, out_features) * 0.01) def forward(self, x): # 原始输出 低秩增量 base_out x self.weight.T lora_out (x self.lora_a) self.lora_b return base_out lora_outLoRA 的核心优势是显存占用小、训练速度快同时可以通过切换不同的 LoRA 权重实现多任务适配很适合在单卡环境下做垂直领域探索。3.2 VLM 推理从图像到文字的基本链路VLM 的推理链路通常包含三个部分视觉编码器Vision Encoder把图像转换为视觉令牌visual tokens。投影层Projection Layer把视觉特征映射到语言模型的嵌入空间。语言模型Language Model结合文本提示词和视觉令牌逐步生成回答。理解这条链路很重要因为后训练通常需要决定“改哪一部分”。如果任务主要是理解图像语义视觉编码器可以冻结只微调语言模型如果任务涉及特殊的图像特征例如红外波段或高空俯拍视角则需要考虑是否解冻视觉编码器。# 一个标准的 VLM 推理调用流程 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image model_id your-finetuned-model-path processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id) image Image.open(test_frame.jpg) prompt Describe the traffic status in this image. inputs processor(imagesimage, textprompt, return_tensorspt) outputs model.generate(**inputs, max_new_tokens256) print(processor.decode(outputs[0], skip_special_tokensTrue))这段代码把图像和文本提示词送入模型模型输出文本描述。这里的processor负责将图像和文本转换成模型需要的张量格式。3.3 Cosmos 合成数据生成的工作流Cosmos 3 生成合成数据的工作流可以概括为文本描述 条件控制 → 视频生成 → 抽帧标注 → 数据集构建。其中文本描述的质量直接影响生成效果。为了生成符合农业机器人视角的数据需要在提示词中明确以下信息相机视角第一人称、第三人称、固定视角等。场景内容农作物种类、成熟度、病虫害特征。运动行为机械臂运动、果实抓取、自主移动等。环境条件光照、天气、季节。下面是一个双语提示词模板English prompt: A first-person view from an agricultural robot moving between tomato rows. The robotic arm extends forward and gently picks a ripe red tomato. Natural sunlight, slight shadow on the left side, leaves are green and healthy. 中文提示词 农业机器人第一人称视角在番茄种植行中移动。 机械臂向前伸展轻轻摘取一颗成熟的红色番茄。 自然光照左侧有轻微阴影叶片翠绿健康。建议在合成数据生成时将英文提示词作为主输入中文提示词作为辅助描述这样可以在一定程度上提高生成结果与中文标注的一致性。3.4 图像批量推理的效率问题在智慧城市场景中VLM 推理往往需要处理大量图像比如每隔几秒从视频流中抽帧检测一次。如果逐张图像调用模型耗时较长也不利于 GPU 利用率。常见的做法是批量推理batch inference将多张图像组成一个 batch 送入模型。# 图像批量推理的常见思路 from PIL import Image import torch images [Image.open(fframes/frame_{i:04d}.jpg) for i in range(1, 9)] prompts [Describe the traffic condition.] * len(images) inputs processor( imagesimages, textprompts, return_tensorspt, paddingTrue, ) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens128)批量推理的核心收益是提高 GPU 利用率减少推理总时间。但它也有代价batch 中不同图像的 token 长度不同模型需要做 padding在处理超长视频抽帧时可能遇到显存压力。后续在“常见问题”章节会进一步展开。4. 完整实战从合成数据生成到 VLM 后训练与推理下面进入本文的核心实战。整个流程分为五个步骤每一部分都提供完整代码和运行说明。4.1 准备智慧城市监控数据先准备一组智慧城市场景的真实图像。出于示例目的我们假设你有少量来自公开数据集的图像和标注。你可以先创建data/real目录并准备如下格式的标注文件data/annotations/real_annotations.json[ { filename: frame_001.jpg, question: 这段路口有哪些交通参与者, answer: 画面中有两辆直行的小汽车、一辆左转的电动车以及一名正在斑马线旁等候的行人。 }, { filename: frame_002.jpg, question: 是否有车辆违规, answer: 没有。所有车辆均在车道线内行驶行人信号灯为绿色通行状态正常。 } ]然后运行下面的数据准备脚本将标注转换为后训练所需的统一格式# 文件路径scripts/prepare_dataset.py import json import os import argparse def build_dataset(image_dir, annotation_file, output_file): # 读取原始标注 with open(annotation_file, r, encodingutf-8) as f: annotations json.load(f) samples [] for item in annotations: # 每个样本包含图像路径和一轮对话 samples.append({ images: [os.path.join(image_dir, item[filename])], conversations: [ { role: user, content: item[question] }, { role: assistant, content: item[answer] } ] }) with open(output_file, w, encodingutf-8) as f: json.dump(samples, f, ensure_asciiFalse, indent2) print(f[INFO] Dataset ready, total {len(samples)} samples.) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--image_dir, typestr, defaultdata/real) parser.add_argument(--annotation_file, typestr, defaultdata/annotations/real_annotations.json) parser.add_argument(--output_file, typestr, defaultdata/dataset_real.json) args parser.parse_args() build_dataset(args.image_dir, args.annotation_file, args.output_file)运行python scripts/prepare_dataset.py如果看到Dataset ready, total 2 samples.说明真实数据准备完成。在实际项目中样本数量建议至少在数百条以上否则后训练效果非常有限。4.2 用 Cosmos 生成农业机器人合成数据接下来使用 Cosmos 3 生成农业机器人场景的合成视频。由于不同版本的 Cosmos 对模型导入方式和推理接口差异较大下面的代码是演示思路具体 API 名称需要参考你部署的官方文档。# 文件路径scripts/generate_synthetic.py # 演示代码实际接口请参考 Cosmos 官方仓库 import os import json from PIL import Image # 假设 Cosmos 提供了一个生成器对象 # 这里用注释说明初始化方式不绑定具体类名 # from cosmos import CosmosVideoGenerator def generate_agriculture_frame(prompt_en, prompt_zh, save_dir): 使用 Cosmos 生成农业机器人视角的视频帧。 参数: prompt_en: 英文提示词 prompt_zh: 中文提示词 save_dir: 输出目录 # 1. 构造生成请求 generation_prompt f{prompt_en}. {prompt_zh} # 2. 调用 Cosmos 生成视频 # generator CosmosVideoGenerator.from_pretrained(nvidia/cosmos-3-wfm) # output_video generator.generate( # promptgeneration_prompt, # duration3.0, # 生成 3 秒视频 # height720, # width1280, # fps30 # ) # 3. 将视频流抽帧保存为 JPEG 图像 # frames extract_frames(output_video) # 这里仅做目录初始化 os.makedirs(save_dir, exist_okTrue) # 4. 记录对应的文本描述 annotation { prompt_en: prompt_en, prompt_zh: prompt_zh, scene: agriculture_robot, frames: [ # 假设抽帧后得到 10 帧 fsynthetic_agri_001_frame_{i:02d}.jpg for i in range(10) ] } with open(os.path.join(save_dir, annotation.json), w, encodingutf-8) as f: json.dump(annotation, f, ensure_asciiFalse, indent2) print(f[INFO] Synthetic data saved to {save_dir}) if __name__ __main__: save_dir data/synthetic/agriculture_01 generate_agriculture_frame( prompt_enFirst-person view of an agricultural robot in a tomato greenhouse, a robotic arm reaches out and gently picks a ripe tomato, natural light., prompt_zh农业机器人第一人称视角在番茄温室中机械臂伸出并轻轻摘取一颗成熟的番茄自然光照。, save_dirsave_dir )你需要根据实际模型版本替换初始化与生成逻辑。生成后的视频帧可以继续用作图像级 VLM 后训练数据也可以保留视频序列用于后续世界模型训练或行为预测任务。4.3 构建混合后训练数据集合成数据与真实数据需要统一格式才能送入训练脚本。这里写一个融合脚本将真实数据集和合成数据集合并并写入训练集与验证集。# 文件路径scripts/merge_datasets.py import json import random import argparse def load_json(path): with open(path, r, encodingutf-8) as f: return json.load(f) def split_dataset(samples, val_ratio0.2): random.shuffle(samples) val_size int(len(samples) * val_ratio) train_set samples[val_size:] val_set samples[:val_size] return train_set, val_set if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--real_data, typestr, defaultdata/dataset_real.json) parser.add_argument(--synthetic_data, typestr, defaultdata/dataset_synthetic.json) parser.add_argument(--output_train, typestr, defaultdata/dataset_train.json) parser.add_argument(--output_val, typestr, defaultdata/dataset_val.json) parser.add_argument(--val_ratio, typefloat, default0.2) args parser.parse_args() real_samples load_json(args.real_data) synthetic_samples load_json(args.synthetic_data) all_samples real_samples synthetic_samples train_set, val_set split_dataset(all_samples, args.val_ratio) with open(args.output_train, w, encodingutf-8) as f: json.dump(train_set, f, ensure_asciiFalse, indent2) with open(args.output_val, w, encodingutf-8) as f: json.dump(val_set, f, ensure_asciiFalse, indent2) print(f[INFO] Train samples: {len(train_set)}, Val samples: {len(val_set)})合并数据的比例需要根据实际情况调整。如果合成数据出现明显重复模式应该适度降低合成数据占比避免模型对合成数据过拟合。4.4 LoRA 微调 VLM下面使用 PEFT 库对 VLM 做 LoRA 后训练。示例中使用的是 Hugging Face 生态的AutoModelForVision2Seq你可以替换成自己选定的 VLM 基座模型。# 文件路径scripts/train_lora.py import json import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer, DataCollatorForLanguageModeling, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from PIL import Image from torch.utils.data import Dataset class VLMDataset(Dataset): 读取统一格式的 VLM 对话数据集。 def __init__(self, json_path, processor): self.data json.load(open(json_path, r, encodingutf-8)) self.processor processor def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] image_path item[images][0] conversations item[conversations] user_text conversations[0][content] assistant_text conversations[1][content] image Image.open(image_path).convert(RGB) # 构造模型输入 messages [ {role: user, content: user_text}, {role: assistant, content: assistant_text}, ] text self.processor.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse ) inputs self.processor( imagesimage, texttext, return_tensorspt, paddingTrue, ) # 移除 batch 维度简化 item 结构 return { pixel_values: inputs[pixel_values][0], input_ids: inputs[input_ids][0], attention_mask: inputs[attention_mask][0], } def collate_fn(batch): 动态 padding 到 batch 内最大长度。 pixel_values torch.stack([b[pixel_values] for b in batch]) input_ids torch.nn.utils.rnn.pad_sequence( [b[input_ids] for b in batch], batch_firstTrue, padding_value0 ) attention_mask torch.nn.utils.rnn.pad_sequence( [b[attention_mask] for b in batch], batch_firstTrue, padding_value0 ) return { pixel_values: pixel_values, input_ids: input_ids, attention_mask: attention_mask, } def main(): model_id your-base-vlm-id # 例如 meta-llama/Llama-3.2-11B-Vision-Instruct train_json data/dataset_train.json val_json data/dataset_val.json processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto, ) # 配置 LoRA lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, v_proj, k_proj, o_proj], task_typeCAUSAL_LM, ) model prepare_model_for_kbit_training(model) model get_peft_model(model, lora_config) model.print_trainable_parameters() train_dataset VLMDataset(train_json, processor) val_dataset VLMDataset(val_json, processor) training_args TrainingArguments( output_diroutput/logs/, per_device_train_batch_size2, per_device_eval_batch_size2, gradient_accumulation_steps4, learning_rate2e-4, num_train_epochs3, logging_steps10, eval_strategysteps, eval_steps100, save_steps100, remove_unused_columnsFalse, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, data_collatorcollate_fn, ) trainer.train() # 保存 LoRA 权重和处理器 model.save_pretrained(models/finetuned/lora_weights) processor.save_pretrained(models/finetuned/lora_weights) if __name__ __main__: main()这段代码有几个关键点需要注意VLMDataset里使用了apply_chat_template不同模型对对话模板的处理方式不同。collate_fn负责动态 padding确保不同长度的输入可以在一个 batch 内计算。LoRA 的target_modules需要与模型结构匹配。如果模型使用了不同的线性层命名需要调整。4.5 智慧城市 VLM 推理完成 LoRA 后训练后将 LoRA 权重加载到预训练模型上对智慧城市场景的图像进行推理。# 文件路径scripts/inference.py import torch from transformers import AutoProcessor, AutoModelForVision2Seq from peft import PeftModel from PIL import Image def load_finetuned_model(base_model_id, lora_path): processor AutoProcessor.from_pretrained(lora_path) model AutoModelForVision2Seq.from_pretrained( base_model_id, torch_dtypetorch.bfloat16, device_mapauto, ) model PeftModel.from_pretrained(model, lora_path) model.eval() return processor, model def infer_image(processor, model, image_path, prompt): image Image.open(image_path).convert(RGB) inputs processor(imagesimage, textprompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleFalse, ) result processor.decode(outputs[0], skip_special_tokensTrue) return result if __name__ __main__: base_model_id your-base-vlm-id lora_path models/finetuned/lora_weights processor, model load_finetuned_model(base_model_id, lora_path) # 分别测试智慧城市和农业场景 test_cases [ (data/real/frame_001.jpg, 描述该路口的交通参与者及通行状态。), (data/synthetic/agriculture_01/annotation.json_frame_00.jpg, 判断番茄果实是否成熟。), ] for image_path, prompt in test_cases: result infer_image(processor, model, image_path, prompt) print(fImage: {image_path}) print(fPrompt: {prompt}) print(fResult: {result}) print(- * 60)输出示例Image: data/real/frame_001.jpg Prompt: 描述该路口的交通参与者及通行状态。 Result: 画面中有两辆直行的小汽车、一辆左转的电动车以及一名正在斑马线旁等候的行人。4.6 运行与验证依次执行以下命令即可完整复现本文流程# 1. 准备真实数据 python scripts/prepare_dataset.py # 2. 生成合成数据需要 Cosmos 环境 python scripts/generate_synthetic.py # 3. 合并数据集 python scripts/merge_datasets.py # 4. 后训练 python scripts/train_lora.py # 5. 推理验证 python scripts/inference.py如果使用的是自己的模型路径需要修改脚本中的model_id、base_model_id等参数。后训练过程中建议保存训练日志方便后续定位是否过拟合或欠拟合。5. 常见问题与排查思路在实际运行过程中常见问题集中在环境依赖、数据格式、显存限制和推理结果异常几个方面。下面用表格整理排查思路。问题现象常见原因解决思路nvidia-smi不可用WSL2 未启用 GPU 或驱动版本过低更新 Windows 驱动确保 WSL2 内执行nvidia-smi正常导入 Cosmos 包报错官方库名或依赖与版本不匹配查阅官方文档确认安装命令检查 Python 版本模型加载 CUDA out of memory显存不足降低 batch size开启 gradient_accumulation_steps或使用更小基座模型推理结果与预期差距大数据标注质量差或训练轮次过多检查训练集标注一致性观察验证集损失降低 epoch 或学习率中文输出质量不稳定基座模型中文能力有限替换中文能力更强的基座模型或增加中文示例在训练集中的占比批量推理时 padding 导致结果异常不同输入长度差异大使用模型自带的动态 padding或在构建 batch 时按长度排序LoRA 训练后模型输出乱码target_modules与模型结构不匹配检查模型参数名确认q_proj、v_proj等名称是否存在合成数据与真实数据风格差异过大提示词未覆盖目标场景加入更多环境、光照、相机参数描述生成后进行人工筛选5.1 显存不足的排查示例显存不足是最常见的问题。先通过nvidia-smi查看占用情况nvidia-smi如果看到类似CUDA out of memory的错误依次尝试减小per_device_train_batch_size从 2 调整到 1。开启gradient_accumulation_steps8保证有效 batch size 不变。使用bf16或fp16混合精度训练。对视频抽帧时降低图像分辨率例如从 1280x720 降到 640x360。5.2 推理加速的常见手段智慧城市场景对推理延迟有较高要求。这里给出几种常见的推理加速手段不同方法的收益和复杂度不同。方法 1批量推理Batch Inference 适用离线批量抽帧检测 收益提高 GPU 利用率 方法 2TensorRT / 模型编译 适用服务化部署、线上推理 收益显著降低单次推理延迟 注意需要针对具体模型与 GPU 做转换 方法 3图编译Graph Compiler 适用PyTorch 生态下的动态图模型 收益减少算子调度开销 注意可能与动态 video 输入存在兼容问题 方法 4减小输入尺寸 / 降低帧率 适用视频流场景 收益直接减少计算量 注意需要评估精度损失关于 TensorRT 部署需要说明的是具体安装方式和可支持的算子版本变化较快建议以官方部署文档为准。不要盲目追求把全部模型转成 TensorRT图编译和批量推理往往已经能带来可观的收益。6. 最佳实践与工程建议6.1 合成数据质量控制合成数据不是“生成多少用多少”必须经过质量筛。建议记录每段生成视频的提示词、生成参数和标注来源并通过可视化工具抽帧审查。建议建立如下筛选流程自动过滤去掉黑帧、重复帧、画面异常的视频。规则校验利用目标检测模型检查关键物体是否存在例如“画面中是否出现番茄”。人工抽检随机抽 10% 左右的样本由人工确认语义一致性。标注校准如果 Cosmos 生成结果与文本描述不一致需要修正标注或丢弃样本。6.2 后训练数据混合策略真实数据与合成数据的比例需要谨慎控制。一般来说如果合成数据与真实场景分布差距较大合成数据占比过高会导致模型在真实数据上反而变差。一个比较稳妥的做法是训练集 80% 真实数据 20% 合成数据 验证集 100% 真实数据先用这个比例评估再根据验证集表现逐步调整。如果合成数据覆盖了真实场景缺乏的长尾情况可以适当提高比例。6.3 后训练超参数调优建议超参数建议范围说明LoRA rank8 ~ 32rank 越大表达能力越强但显存占用也更高learning rate1e-5 ~ 5e-4视觉语言模型微调通常比纯文本模型更小的学习率batch size1 ~ 8根据显存调整配合梯度累积epoch2 ~ 5从 2 开始观察验证集损失防止过拟合warmup ratio0.03 ~ 0.1避免训练初期不稳定6.4 安全与合规边界在智慧城市场景中处理视频数据时要特别注意隐私和合规问题。实际项目中建议做到以下几点对涉及个人的视频帧做匿名化处理例如人脸模糊、车牌脱敏。只在授权范围内采集和使用真实数据。使用 Cosmos 生成合成数据时保留提示词和生成参数方便追溯数据来源。对外发布模型权重时检查基座模型的许可协议是否允许二次分发。7. 总结与下一步学习路线到这里我们完整走通了一条“Cosmos 3 合成数据生成 → VLM 后训练 → 智慧城市推理”的技术链路。你掌握的是一套可以复用到多个物理 AI 场景的实验流程而不只是某个具体项目的配置。下一步可以从这几个方向继续深入把合成视频从单一视角扩展到多相机视角研究世界模型中的 3D 一致性问题。对比不同后训练方法SFT、LoRA、DPO在垂直场景中的效果差异。尝试把后训练好的 VLM 接入实际机器人控制链路用人类反馈进一步优化行为策略。研究推理加速方案将模型部署到边缘端服务于实时智慧城市监控。实际项目中优先关注数据质量和评估指标不要一上来就追求大模型。合成数据帮你拓宽数据边界后训练帮你对齐业务需求VLM 推理帮你把能力落到具体应用中三步缺一不可。希望这篇文章能帮你少踩一些坑也欢迎在评论区交流你的实测结果。 Cosmos 3合成数据与VLM后训练实战：物理AI场景落地
在物理 AI 与具身智能项目里最让人头疼的往往不是模型算法本身而是两件事第一真实场景数据太贵、太难采集第二模型在垂直领域里表现不稳定。比如做智慧城市车流识别晴天效果尚可一到雨雾天气误报率就明显上升做农业机器人采摘换一个果园、换一种光照之前调好的视觉模型又要重新调参。这些问题背后其实都绕不开三个关键词世界基础模型World Foundation Model, WFM、视觉语言模型Vision-Language Model, VLM和合成数据Synthetic Data。本文围绕 Cosmos 3 后训练实战完整梳理一条可落地的技术链路先用 Cosmos 3 生成农业机器人场景的合成数据再结合少量真实数据构建 VLM 后训练集微调后部署到智慧城市视频流推理任务中做效果验证。文章会说明每个环节为什么这样做也会给出可运行的示例代码、常见报错排查表和工程落地建议。如果你正在做视觉语言模型选型、VLM 后训练、合成数据增强或者想了解 Cosmos 3 能干什么这篇文章会比较适合你。全文采用中英双语的术语注释方式代码关键位置也保留双语注释方便对照学习。1. 背景与核心概念1.1 Cosmos 3 是什么Cosmos 3 是 NVIDIA 推出的世界基础模型World Foundation Model系列在 3.x 版本中的核心成果。它并不是一个单一模型而是一组面向物理 AI 场景的模型和工具链主要目标是让模型理解“物理世界如何运转”并能够生成接近真实物理规律的视频帧序列。在机器人、自动驾驶、智慧城市等场景中模型需要理解的不只是静态图像里的物体类别还包括物体的空间关系、运动趋势、光照变化、遮挡关系、因果推断等。这类能力很难从普通图像分类数据集中学习而 Cosmos 3 等世界模型的核心价值就是通过对海量物理世界视频的学习建立对“下一秒可能发生什么”的预测能力。与传统的文生视频模型相比Cosmos 3 更强调可控性和物理合理性。它能够在文本指令、相机参数、运动轨迹等条件的约束下生成指定场景的连续视频帧。这样的合成视频可以作为下游视觉模型的训练数据从而减少对真实数据的依赖。1.2 什么是后训练Post-training大模型领域通常把训练过程分为预训练Pre-training和后训练Post-training两个阶段。预训练负责让模型学习通用语言、视觉和世界知识而后训练则负责让模型适配特定任务、特定领域和特定的交互方式。常见的后训练方法包括方法英文全称说明监督微调Supervised Fine-Tuning, SFT用带标注的任务数据调整模型参数低秩适配Low-Rank Adaptation, LoRA冻结原模型只训练低秩矩阵节省显存基于人类反馈的强化学习RLHF通过奖励模型优化生成质量直接偏好优化Direct Preference Optimization, DPO用偏好对直接优化无需奖励模型在本文的场景中后训练的主要目的是让预训练 VLM 更好地理解智慧城市和农业机器人这两个垂直领域的图像内容例如能够正确回答“画面中是否有行人闯红灯”“这个番茄的成熟度是多少”等细粒度问题。1.3 VLM 推理解决什么问题视觉语言模型Vision-Language Model, VLM能够同时处理图像输入和文本输入输出文本描述或结构化信息。与传统的目标检测模型相比VLM 的优势在于支持开放词汇不仅能识别训练集中出现过的类别还能理解自然语言描述的新类别。具备上下文理解能结合画面中的物体关系、场景背景进行推理。输出更灵活可以直接输出自然语言答案也可以借助提示词输出 JSON 等结构化格式。在智慧城市场景里VLM 可以完成事件检测、要素描述、异常预警等任务。例如给定一段监控视频帧模型能输出“画面中有 3 辆机动车1 辆正在左转行人处于等待状态”这类结构化描述。1.4 为什么需要合成数据智慧城市和农业机器人场景的数据采集都有明显瓶颈。智慧城市视频涉及隐私与合规问题农业机器人的田间数据受季节、天气、地域限制采集成本高且难以覆盖长尾场景。合成数据Synthetic Data可以在一定程度上缓解这些问题。使用 Cosmos 3 生成带有物理规律的运动视频让模型在训练阶段见过更多“对抗样本”例如夜间强光、雨天反光、果实遮挡等情况。这样当模型部署到真实环境时泛化能力会更强。但需要强调合成数据不是万能的它不能完全替代真实数据。更合理的做法是“真实数据 合成数据”混合训练并通过验证集持续评估数据质量。2. 环境准备与版本说明在开始实操之前先理清当前示例环境。后续代码基于以下配置运行如果你的环境不同需要根据实际情况调整。2.1 硬件与系统要求Cosmos 3 合成数据生成和 VLM 后训练都属于资源密集型任务建议使用 NVIDIA GPU。显存规模直接决定了可以生成的视频分辨率以及微调时使用的批量大小。资源建议要求GPUNVIDIA RTX 3090 / 4090 / A100 / H100 或更高显存16 GB 以上生成高分辨率视频或微调 7B 以上模型时需要更大显存系统Ubuntu 22.04 或 Windows 11WSL2磁盘建议预留 100 GB 以上空间存放模型权重和数据集如果暂时没有足够显存可以先使用小模型、低分辨率和更小的 batch size 验证流程再迁移到更大规模环境。2.2 Python 与深度学习框架以下版本组合是当前比较常见且稳定的配置具体以官方文档为准Python 3.10 或 3.11CUDA 12.1 或更高PyTorch 2.1 或更高Transformers 4.40 或更高PEFT 0.10 或更高Datasets 2.18 或更高Accelerate 0.30 或更高先创建一个独立的 Conda 环境conda create -n cosmos-ai python3.11 -y conda activate cosmos-ai pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft accelerate datasets pillow tensorboard注意PyTorch 的安装命令需要结合 CUDA 版本调整。如果使用 WSL2需要确保 Windows 侧已安装最新的 NVIDIA 驱动并在 WSL2 内执行nvidia-smi确认 GPU 可见。2.3 项目目录结构为了方便后续操作建议按照下面结构组织项目cosmos-finetune-lab/ ├── data/ │ ├── real/ # 真实图像与标注 │ ├── synthetic/ # Cosmos 生成数据 │ └── annotations/ # 标注 JSON ├── models/ │ ├── pretrained/ # 预训练 VLM 权重 │ └── finetuned/ # 后训练输出权重 ├── scripts/ │ ├── generate_synthetic.py # 合成数据生成脚本 │ ├── prepare_dataset.py # 数据集构建脚本 │ ├── train_lora.py # LoRA 后训练脚本 │ └── inference.py # VLM 推理脚本 ├── configs/ │ ├── lora_config.yaml │ └── data_config.yaml └── output/ ├── logs/ └── results/3. 核心原理拆解后训练、VLM 推理与合成数据生成在进入完整代码前先拆解三个关键模块的原理这能帮助你理解后面每一步操作的意义。3.1 后训练到底改了什么预训练模型已经具备很强的通用能力但在垂直领域中会出现“能力有但不在点子上”的情况。例如模型知道番茄是红色的果实但无法判断“番茄表面有明显褐色斑点”是否意味着病虫害。后训练就是通过新的标注数据把模型原先分散的知识引导到特定任务上。以 LoRA 为例它的做法是在原始权重矩阵旁边新增两个低秩矩阵训练时只更新这两个矩阵。# 示意LoRA 的更新逻辑简化版 # 原始公式output W * input # LoRA 公式output (W A B) * input # 其中 W 被冻结A 和 B 是低秩矩阵秩为 r import torch import torch.nn as nn class LoRALinear(nn.Module): def __init__(self, in_features, out_features, r16): super().__init__() self.weight nn.Parameter(torch.randn(out_features, in_features)) self.weight.requires_grad False # 冻结原权重 self.lora_a nn.Parameter(torch.randn(in_features, r) * 0.01) self.lora_b nn.Parameter(torch.randn(r, out_features) * 0.01) def forward(self, x): # 原始输出 低秩增量 base_out x self.weight.T lora_out (x self.lora_a) self.lora_b return base_out lora_outLoRA 的核心优势是显存占用小、训练速度快同时可以通过切换不同的 LoRA 权重实现多任务适配很适合在单卡环境下做垂直领域探索。3.2 VLM 推理从图像到文字的基本链路VLM 的推理链路通常包含三个部分视觉编码器Vision Encoder把图像转换为视觉令牌visual tokens。投影层Projection Layer把视觉特征映射到语言模型的嵌入空间。语言模型Language Model结合文本提示词和视觉令牌逐步生成回答。理解这条链路很重要因为后训练通常需要决定“改哪一部分”。如果任务主要是理解图像语义视觉编码器可以冻结只微调语言模型如果任务涉及特殊的图像特征例如红外波段或高空俯拍视角则需要考虑是否解冻视觉编码器。# 一个标准的 VLM 推理调用流程 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image model_id your-finetuned-model-path processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id) image Image.open(test_frame.jpg) prompt Describe the traffic status in this image. inputs processor(imagesimage, textprompt, return_tensorspt) outputs model.generate(**inputs, max_new_tokens256) print(processor.decode(outputs[0], skip_special_tokensTrue))这段代码把图像和文本提示词送入模型模型输出文本描述。这里的processor负责将图像和文本转换成模型需要的张量格式。3.3 Cosmos 合成数据生成的工作流Cosmos 3 生成合成数据的工作流可以概括为文本描述 条件控制 → 视频生成 → 抽帧标注 → 数据集构建。其中文本描述的质量直接影响生成效果。为了生成符合农业机器人视角的数据需要在提示词中明确以下信息相机视角第一人称、第三人称、固定视角等。场景内容农作物种类、成熟度、病虫害特征。运动行为机械臂运动、果实抓取、自主移动等。环境条件光照、天气、季节。下面是一个双语提示词模板English prompt: A first-person view from an agricultural robot moving between tomato rows. The robotic arm extends forward and gently picks a ripe red tomato. Natural sunlight, slight shadow on the left side, leaves are green and healthy. 中文提示词 农业机器人第一人称视角在番茄种植行中移动。 机械臂向前伸展轻轻摘取一颗成熟的红色番茄。 自然光照左侧有轻微阴影叶片翠绿健康。建议在合成数据生成时将英文提示词作为主输入中文提示词作为辅助描述这样可以在一定程度上提高生成结果与中文标注的一致性。3.4 图像批量推理的效率问题在智慧城市场景中VLM 推理往往需要处理大量图像比如每隔几秒从视频流中抽帧检测一次。如果逐张图像调用模型耗时较长也不利于 GPU 利用率。常见的做法是批量推理batch inference将多张图像组成一个 batch 送入模型。# 图像批量推理的常见思路 from PIL import Image import torch images [Image.open(fframes/frame_{i:04d}.jpg) for i in range(1, 9)] prompts [Describe the traffic condition.] * len(images) inputs processor( imagesimages, textprompts, return_tensorspt, paddingTrue, ) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens128)批量推理的核心收益是提高 GPU 利用率减少推理总时间。但它也有代价batch 中不同图像的 token 长度不同模型需要做 padding在处理超长视频抽帧时可能遇到显存压力。后续在“常见问题”章节会进一步展开。4. 完整实战从合成数据生成到 VLM 后训练与推理下面进入本文的核心实战。整个流程分为五个步骤每一部分都提供完整代码和运行说明。4.1 准备智慧城市监控数据先准备一组智慧城市场景的真实图像。出于示例目的我们假设你有少量来自公开数据集的图像和标注。你可以先创建data/real目录并准备如下格式的标注文件data/annotations/real_annotations.json[ { filename: frame_001.jpg, question: 这段路口有哪些交通参与者, answer: 画面中有两辆直行的小汽车、一辆左转的电动车以及一名正在斑马线旁等候的行人。 }, { filename: frame_002.jpg, question: 是否有车辆违规, answer: 没有。所有车辆均在车道线内行驶行人信号灯为绿色通行状态正常。 } ]然后运行下面的数据准备脚本将标注转换为后训练所需的统一格式# 文件路径scripts/prepare_dataset.py import json import os import argparse def build_dataset(image_dir, annotation_file, output_file): # 读取原始标注 with open(annotation_file, r, encodingutf-8) as f: annotations json.load(f) samples [] for item in annotations: # 每个样本包含图像路径和一轮对话 samples.append({ images: [os.path.join(image_dir, item[filename])], conversations: [ { role: user, content: item[question] }, { role: assistant, content: item[answer] } ] }) with open(output_file, w, encodingutf-8) as f: json.dump(samples, f, ensure_asciiFalse, indent2) print(f[INFO] Dataset ready, total {len(samples)} samples.) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--image_dir, typestr, defaultdata/real) parser.add_argument(--annotation_file, typestr, defaultdata/annotations/real_annotations.json) parser.add_argument(--output_file, typestr, defaultdata/dataset_real.json) args parser.parse_args() build_dataset(args.image_dir, args.annotation_file, args.output_file)运行python scripts/prepare_dataset.py如果看到Dataset ready, total 2 samples.说明真实数据准备完成。在实际项目中样本数量建议至少在数百条以上否则后训练效果非常有限。4.2 用 Cosmos 生成农业机器人合成数据接下来使用 Cosmos 3 生成农业机器人场景的合成视频。由于不同版本的 Cosmos 对模型导入方式和推理接口差异较大下面的代码是演示思路具体 API 名称需要参考你部署的官方文档。# 文件路径scripts/generate_synthetic.py # 演示代码实际接口请参考 Cosmos 官方仓库 import os import json from PIL import Image # 假设 Cosmos 提供了一个生成器对象 # 这里用注释说明初始化方式不绑定具体类名 # from cosmos import CosmosVideoGenerator def generate_agriculture_frame(prompt_en, prompt_zh, save_dir): 使用 Cosmos 生成农业机器人视角的视频帧。 参数: prompt_en: 英文提示词 prompt_zh: 中文提示词 save_dir: 输出目录 # 1. 构造生成请求 generation_prompt f{prompt_en}. {prompt_zh} # 2. 调用 Cosmos 生成视频 # generator CosmosVideoGenerator.from_pretrained(nvidia/cosmos-3-wfm) # output_video generator.generate( # promptgeneration_prompt, # duration3.0, # 生成 3 秒视频 # height720, # width1280, # fps30 # ) # 3. 将视频流抽帧保存为 JPEG 图像 # frames extract_frames(output_video) # 这里仅做目录初始化 os.makedirs(save_dir, exist_okTrue) # 4. 记录对应的文本描述 annotation { prompt_en: prompt_en, prompt_zh: prompt_zh, scene: agriculture_robot, frames: [ # 假设抽帧后得到 10 帧 fsynthetic_agri_001_frame_{i:02d}.jpg for i in range(10) ] } with open(os.path.join(save_dir, annotation.json), w, encodingutf-8) as f: json.dump(annotation, f, ensure_asciiFalse, indent2) print(f[INFO] Synthetic data saved to {save_dir}) if __name__ __main__: save_dir data/synthetic/agriculture_01 generate_agriculture_frame( prompt_enFirst-person view of an agricultural robot in a tomato greenhouse, a robotic arm reaches out and gently picks a ripe tomato, natural light., prompt_zh农业机器人第一人称视角在番茄温室中机械臂伸出并轻轻摘取一颗成熟的番茄自然光照。, save_dirsave_dir )你需要根据实际模型版本替换初始化与生成逻辑。生成后的视频帧可以继续用作图像级 VLM 后训练数据也可以保留视频序列用于后续世界模型训练或行为预测任务。4.3 构建混合后训练数据集合成数据与真实数据需要统一格式才能送入训练脚本。这里写一个融合脚本将真实数据集和合成数据集合并并写入训练集与验证集。# 文件路径scripts/merge_datasets.py import json import random import argparse def load_json(path): with open(path, r, encodingutf-8) as f: return json.load(f) def split_dataset(samples, val_ratio0.2): random.shuffle(samples) val_size int(len(samples) * val_ratio) train_set samples[val_size:] val_set samples[:val_size] return train_set, val_set if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--real_data, typestr, defaultdata/dataset_real.json) parser.add_argument(--synthetic_data, typestr, defaultdata/dataset_synthetic.json) parser.add_argument(--output_train, typestr, defaultdata/dataset_train.json) parser.add_argument(--output_val, typestr, defaultdata/dataset_val.json) parser.add_argument(--val_ratio, typefloat, default0.2) args parser.parse_args() real_samples load_json(args.real_data) synthetic_samples load_json(args.synthetic_data) all_samples real_samples synthetic_samples train_set, val_set split_dataset(all_samples, args.val_ratio) with open(args.output_train, w, encodingutf-8) as f: json.dump(train_set, f, ensure_asciiFalse, indent2) with open(args.output_val, w, encodingutf-8) as f: json.dump(val_set, f, ensure_asciiFalse, indent2) print(f[INFO] Train samples: {len(train_set)}, Val samples: {len(val_set)})合并数据的比例需要根据实际情况调整。如果合成数据出现明显重复模式应该适度降低合成数据占比避免模型对合成数据过拟合。4.4 LoRA 微调 VLM下面使用 PEFT 库对 VLM 做 LoRA 后训练。示例中使用的是 Hugging Face 生态的AutoModelForVision2Seq你可以替换成自己选定的 VLM 基座模型。# 文件路径scripts/train_lora.py import json import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer, DataCollatorForLanguageModeling, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from PIL import Image from torch.utils.data import Dataset class VLMDataset(Dataset): 读取统一格式的 VLM 对话数据集。 def __init__(self, json_path, processor): self.data json.load(open(json_path, r, encodingutf-8)) self.processor processor def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] image_path item[images][0] conversations item[conversations] user_text conversations[0][content] assistant_text conversations[1][content] image Image.open(image_path).convert(RGB) # 构造模型输入 messages [ {role: user, content: user_text}, {role: assistant, content: assistant_text}, ] text self.processor.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse ) inputs self.processor( imagesimage, texttext, return_tensorspt, paddingTrue, ) # 移除 batch 维度简化 item 结构 return { pixel_values: inputs[pixel_values][0], input_ids: inputs[input_ids][0], attention_mask: inputs[attention_mask][0], } def collate_fn(batch): 动态 padding 到 batch 内最大长度。 pixel_values torch.stack([b[pixel_values] for b in batch]) input_ids torch.nn.utils.rnn.pad_sequence( [b[input_ids] for b in batch], batch_firstTrue, padding_value0 ) attention_mask torch.nn.utils.rnn.pad_sequence( [b[attention_mask] for b in batch], batch_firstTrue, padding_value0 ) return { pixel_values: pixel_values, input_ids: input_ids, attention_mask: attention_mask, } def main(): model_id your-base-vlm-id # 例如 meta-llama/Llama-3.2-11B-Vision-Instruct train_json data/dataset_train.json val_json data/dataset_val.json processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto, ) # 配置 LoRA lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, v_proj, k_proj, o_proj], task_typeCAUSAL_LM, ) model prepare_model_for_kbit_training(model) model get_peft_model(model, lora_config) model.print_trainable_parameters() train_dataset VLMDataset(train_json, processor) val_dataset VLMDataset(val_json, processor) training_args TrainingArguments( output_diroutput/logs/, per_device_train_batch_size2, per_device_eval_batch_size2, gradient_accumulation_steps4, learning_rate2e-4, num_train_epochs3, logging_steps10, eval_strategysteps, eval_steps100, save_steps100, remove_unused_columnsFalse, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, data_collatorcollate_fn, ) trainer.train() # 保存 LoRA 权重和处理器 model.save_pretrained(models/finetuned/lora_weights) processor.save_pretrained(models/finetuned/lora_weights) if __name__ __main__: main()这段代码有几个关键点需要注意VLMDataset里使用了apply_chat_template不同模型对对话模板的处理方式不同。collate_fn负责动态 padding确保不同长度的输入可以在一个 batch 内计算。LoRA 的target_modules需要与模型结构匹配。如果模型使用了不同的线性层命名需要调整。4.5 智慧城市 VLM 推理完成 LoRA 后训练后将 LoRA 权重加载到预训练模型上对智慧城市场景的图像进行推理。# 文件路径scripts/inference.py import torch from transformers import AutoProcessor, AutoModelForVision2Seq from peft import PeftModel from PIL import Image def load_finetuned_model(base_model_id, lora_path): processor AutoProcessor.from_pretrained(lora_path) model AutoModelForVision2Seq.from_pretrained( base_model_id, torch_dtypetorch.bfloat16, device_mapauto, ) model PeftModel.from_pretrained(model, lora_path) model.eval() return processor, model def infer_image(processor, model, image_path, prompt): image Image.open(image_path).convert(RGB) inputs processor(imagesimage, textprompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleFalse, ) result processor.decode(outputs[0], skip_special_tokensTrue) return result if __name__ __main__: base_model_id your-base-vlm-id lora_path models/finetuned/lora_weights processor, model load_finetuned_model(base_model_id, lora_path) # 分别测试智慧城市和农业场景 test_cases [ (data/real/frame_001.jpg, 描述该路口的交通参与者及通行状态。), (data/synthetic/agriculture_01/annotation.json_frame_00.jpg, 判断番茄果实是否成熟。), ] for image_path, prompt in test_cases: result infer_image(processor, model, image_path, prompt) print(fImage: {image_path}) print(fPrompt: {prompt}) print(fResult: {result}) print(- * 60)输出示例Image: data/real/frame_001.jpg Prompt: 描述该路口的交通参与者及通行状态。 Result: 画面中有两辆直行的小汽车、一辆左转的电动车以及一名正在斑马线旁等候的行人。4.6 运行与验证依次执行以下命令即可完整复现本文流程# 1. 准备真实数据 python scripts/prepare_dataset.py # 2. 生成合成数据需要 Cosmos 环境 python scripts/generate_synthetic.py # 3. 合并数据集 python scripts/merge_datasets.py # 4. 后训练 python scripts/train_lora.py # 5. 推理验证 python scripts/inference.py如果使用的是自己的模型路径需要修改脚本中的model_id、base_model_id等参数。后训练过程中建议保存训练日志方便后续定位是否过拟合或欠拟合。5. 常见问题与排查思路在实际运行过程中常见问题集中在环境依赖、数据格式、显存限制和推理结果异常几个方面。下面用表格整理排查思路。问题现象常见原因解决思路nvidia-smi不可用WSL2 未启用 GPU 或驱动版本过低更新 Windows 驱动确保 WSL2 内执行nvidia-smi正常导入 Cosmos 包报错官方库名或依赖与版本不匹配查阅官方文档确认安装命令检查 Python 版本模型加载 CUDA out of memory显存不足降低 batch size开启 gradient_accumulation_steps或使用更小基座模型推理结果与预期差距大数据标注质量差或训练轮次过多检查训练集标注一致性观察验证集损失降低 epoch 或学习率中文输出质量不稳定基座模型中文能力有限替换中文能力更强的基座模型或增加中文示例在训练集中的占比批量推理时 padding 导致结果异常不同输入长度差异大使用模型自带的动态 padding或在构建 batch 时按长度排序LoRA 训练后模型输出乱码target_modules与模型结构不匹配检查模型参数名确认q_proj、v_proj等名称是否存在合成数据与真实数据风格差异过大提示词未覆盖目标场景加入更多环境、光照、相机参数描述生成后进行人工筛选5.1 显存不足的排查示例显存不足是最常见的问题。先通过nvidia-smi查看占用情况nvidia-smi如果看到类似CUDA out of memory的错误依次尝试减小per_device_train_batch_size从 2 调整到 1。开启gradient_accumulation_steps8保证有效 batch size 不变。使用bf16或fp16混合精度训练。对视频抽帧时降低图像分辨率例如从 1280x720 降到 640x360。5.2 推理加速的常见手段智慧城市场景对推理延迟有较高要求。这里给出几种常见的推理加速手段不同方法的收益和复杂度不同。方法 1批量推理Batch Inference 适用离线批量抽帧检测 收益提高 GPU 利用率 方法 2TensorRT / 模型编译 适用服务化部署、线上推理 收益显著降低单次推理延迟 注意需要针对具体模型与 GPU 做转换 方法 3图编译Graph Compiler 适用PyTorch 生态下的动态图模型 收益减少算子调度开销 注意可能与动态 video 输入存在兼容问题 方法 4减小输入尺寸 / 降低帧率 适用视频流场景 收益直接减少计算量 注意需要评估精度损失关于 TensorRT 部署需要说明的是具体安装方式和可支持的算子版本变化较快建议以官方部署文档为准。不要盲目追求把全部模型转成 TensorRT图编译和批量推理往往已经能带来可观的收益。6. 最佳实践与工程建议6.1 合成数据质量控制合成数据不是“生成多少用多少”必须经过质量筛。建议记录每段生成视频的提示词、生成参数和标注来源并通过可视化工具抽帧审查。建议建立如下筛选流程自动过滤去掉黑帧、重复帧、画面异常的视频。规则校验利用目标检测模型检查关键物体是否存在例如“画面中是否出现番茄”。人工抽检随机抽 10% 左右的样本由人工确认语义一致性。标注校准如果 Cosmos 生成结果与文本描述不一致需要修正标注或丢弃样本。6.2 后训练数据混合策略真实数据与合成数据的比例需要谨慎控制。一般来说如果合成数据与真实场景分布差距较大合成数据占比过高会导致模型在真实数据上反而变差。一个比较稳妥的做法是训练集 80% 真实数据 20% 合成数据 验证集 100% 真实数据先用这个比例评估再根据验证集表现逐步调整。如果合成数据覆盖了真实场景缺乏的长尾情况可以适当提高比例。6.3 后训练超参数调优建议超参数建议范围说明LoRA rank8 ~ 32rank 越大表达能力越强但显存占用也更高learning rate1e-5 ~ 5e-4视觉语言模型微调通常比纯文本模型更小的学习率batch size1 ~ 8根据显存调整配合梯度累积epoch2 ~ 5从 2 开始观察验证集损失防止过拟合warmup ratio0.03 ~ 0.1避免训练初期不稳定6.4 安全与合规边界在智慧城市场景中处理视频数据时要特别注意隐私和合规问题。实际项目中建议做到以下几点对涉及个人的视频帧做匿名化处理例如人脸模糊、车牌脱敏。只在授权范围内采集和使用真实数据。使用 Cosmos 生成合成数据时保留提示词和生成参数方便追溯数据来源。对外发布模型权重时检查基座模型的许可协议是否允许二次分发。7. 总结与下一步学习路线到这里我们完整走通了一条“Cosmos 3 合成数据生成 → VLM 后训练 → 智慧城市推理”的技术链路。你掌握的是一套可以复用到多个物理 AI 场景的实验流程而不只是某个具体项目的配置。下一步可以从这几个方向继续深入把合成视频从单一视角扩展到多相机视角研究世界模型中的 3D 一致性问题。对比不同后训练方法SFT、LoRA、DPO在垂直场景中的效果差异。尝试把后训练好的 VLM 接入实际机器人控制链路用人类反馈进一步优化行为策略。研究推理加速方案将模型部署到边缘端服务于实时智慧城市监控。实际项目中优先关注数据质量和评估指标不要一上来就追求大模型。合成数据帮你拓宽数据边界后训练帮你对齐业务需求VLM 推理帮你把能力落到具体应用中三步缺一不可。希望这篇文章能帮你少踩一些坑也欢迎在评论区交流你的实测结果。