### [视频通用模型来了：DeepMind GenCeption 再证“生成即理解”](https://www.zuoshipin.com/article/4740)

**Published:** 2026-07-16T15:46:42

**Author:** 17600879176

**Excerpt:** DeepMind 最新论文提出 GenCeption，把视频生成模型改造成通用视频理解系统，可输出深度、法线、分割、相机位姿和 3D 关键点。对后期、CG 和智能剪辑来说，这可能是统一视频理解层的开始。

Google DeepMind 近期把“生成即理解”的思路从图像推进到了视频。最新论文 **Video Generation Models are General-Purpose Vision Learners** 提出 **GenCeption**：把视频生成模型改造成一个由文本指令控制的通用视频理解系统。

它能做的不只是生成视频，而是对视频输出深度、表面法线、分割、相机位姿、2D/3D 关键点等结果。对视频后期、CG、虚拟拍摄和智能剪辑来说，这个方向很重要，因为它意味着未来一个通用视频模型可能同时承担“看懂镜头”和“生成画面”两类能力。

![GenCeption：视频生成模型作为通用视觉学习器](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-1.webp)

GenCeption：视频生成模型作为通用视觉学习器

**做视频网观点：**视频生成模型如果真的能稳定输出深度、分割、法线、姿态和相机信息，那它就不只是创作工具，而会变成后期流程里的“自动理解层”。这对抠像、跟踪、转描、三维重建和镜头分析都很关键。

## 为什么说“生成即理解”？

传统视频理解常常把任务拆成很多专用模块：动作识别、关键点、分割、深度、相机估计，各自用不同数据和不同模型训练。问题是这些模块之间难以对齐，误差也会逐层传递。

GenCeption 的思路更接近语言模型的统一训练范式：如果一个视频生成模型为了生成连续可信的画面，必须学习时间演化、三维结构、物理规律和语言对齐，那这些能力也许可以被反过来用于理解视频。

![视频生成模型承担通用视觉理解任务](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-2.webp)

视频生成模型承担通用视觉理解任务

## GenCeption 怎么工作？

传统扩散模型从随机噪声出发，经过多步去噪生成视频。但深度估计、分割和姿态预测需要稳定确定的输出，不适合每次都随机采样。GenCeption 因此把多步扩散过程改造成**单步前馈模型**。

模型不再输入随机噪声，而是接收待分析视频的无噪声潜在表示；扩散时间步固定在 `t=0`，只做一次前向传播。输入同一段视频时，只要改变文本指令，模型就能切换任务。

-   指令是“输出深度”，模型生成逐帧深度图。
-   指令是“输出表面法线”，模型输出物体表面方向。
-   指令是“输出 3D 关键点”，模型预测三维人体姿态。
-   指令是“分割指定目标”，模型输出对应掩码。

![GenCeption 方法和范式转换](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-3.webp)

GenCeption 方法和范式转换

## 统一任务：把视觉结果都变成“目标视频”

很多多任务视觉模型虽然共享主干网络，但仍然需要不同任务头和损失函数。GenCeption 更进一步，试图统一主干、预测头和训练目标。

对于深度、法线、分割、相机射线图这类密集任务，模型把结果统一编码到标准 RGB 空间，让不同任务都可以表示成一种“目标视频”。对于 2D/3D 关键点这类稀疏任务，则加入可学习 Token，再通过轻量 MLP 解码为坐标。

![GenCeption 架构：密集任务和稀疏任务统一处理](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-4.webp)

GenCeption 架构：密集任务和稀疏任务统一处理

**关键变化：**任务差异不再主要体现在模型结构里，而是体现在数据格式设计里。深度、分割、法线、姿态都可以被包装成同一个模型能读写的输出形式。

## 合成数据为什么重要？

统一视觉任务最大的现实问题是数据。真实视频通常只带有有限标注：有的有关键点，没有相机轨迹；有的有分割，没有深度；不同数据集之间还存在尺度和格式冲突。

研究团队主要使用合成数据：800 个 RenderPeople 人物资产、200 种动作，生成 7500 段人体视频，同时获得深度、法线、分割、DensePose、2D/3D 关键点和相机位姿等标注。这些信息来自同一三维场景，天然在空间和时间上对齐。

![GenCeption 合成数据和多任务标注](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-5.webp)

GenCeption 合成数据和多任务标注

## 效果：接近或超过部分专用模型

论文显示，GenCeption 覆盖深度、表面法线、前景分割、指代表达分割、相机位姿和 3D 关键点等任务。在多个基准上，它能够接近或超过 Depth Anything V3、SAM 3、D4RT、VGGT-Ω、Sapiens 和 Genmo 等专用模型。

研究团队还比较了 Specialist 单任务版和 Generalist 通用版。通常多任务模型会互相干扰，但 GenCeption 的两者性能差距较小，说明统一模型没有因为任务变多而明显掉能力。

![GenCeption 多任务视觉理解效果](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-6.webp)

GenCeption 多任务视觉理解效果

## 视频生成式预训练，比表征学习更强吗？

为了验证能力是否真的来自生成式预训练，作者在相同后训练数据下比较了 V-JEPA、VideoMAE V2 和视频生成模型 WAN 2.1。结果显示，在深度估计任务中，生成式预训练的 WAN 表现明显更好，而且随着模型从 13 亿参数扩大到 140 亿参数，性能继续提升。

这说明，强视频生成模型内部不仅保存了纹理和风格，也保存了空间、时间、物体和运动结构。后训练更像是给模型一个“读取已有知识的接口”。

![不同视频预训练范式对比](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-7.webp)

不同视频预训练范式对比

## 泛化能力：从人类到动物、机器人

GenCeption 的后训练数据主要来自合成人体视频，但它能直接处理真实视频，并输出深度、法线、分割和姿态结果。更有意思的是，单人训练的模型可以泛化到多人场景；人体任务也能迁移到猩猩、动物、拟人角色和机器人上。

![GenCeption 多人场景和动物泛化结果](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-8.webp)

GenCeption 多人场景和动物泛化结果

这些能力很难只用 7500 段合成人体视频解释，更可能来自视频生成模型在大规模预训练阶段已经学到的世界知识。

## 对视频后期和 CG 工作流的启发

**自动分割与抠像**  
一个模型同时输出人物、前景、指定对象掩码，减少多工具切换。

**深度和法线辅助**  
为景深、 relighting、投影、合成和三维重建提供自动结构信息。

**姿态和动作理解**  
从视频中提取 2D/3D 关键点，辅助动作捕捉、角色绑定和预演。

**相机与场景理解**  
相机位姿和空间结构估计，有机会进入虚拟拍摄和镜头匹配流程。

![GenCeption 对视频后期和 CG 工作流的潜在价值](https://admin.zuoshipin.com/wp-content/uploads/2026/07/genception-video-generation-vision-learner-9.webp)

GenCeption 对视频后期和 CG 工作流的潜在价值

## 它还不能解决什么？

论文主要证明的是结构层面的视觉理解：深度、法线、分割、姿态、相机等。但“发生了什么”“为什么发生”“事件因果和意图推理”仍然是更高层的视频语义问题。

**注意：**“生成即理解”不是说视频生成模型已经完全理解世界，而是说明生成式预训练可以学到支持多种视觉理解任务的通用表征。真正进入生产流程，还需要稳定性、速度、可控性和工具链集成。

## 做视频网总结

GenCeption 的意义在于，它把视频生成模型从“画面生成器”推进到“通用视觉理解器”。如果这条路线持续成立，未来的视频 AI 工具可能不再区分生成、分割、深度、姿态、跟踪和相机估计，而是由同一个基础模型按指令输出不同结构信息。

对视频创作者来说，这意味着后期自动化会从单点工具进入统一模型阶段。剪辑、抠像、镜头分析、三维辅助、动作提取和视觉特效，都可能共享同一个视频基础模型。

## 参考链接

-   [GenCeption 项目主页](https://genception.github.io/)
-   [论文：Video Generation Models are General-Purpose Vision Learners](https://arxiv.org/pdf/2607.09024v1)

**Tags:** AI视频, DeepMind, GenCeption, 生成即理解, 视频理解, 视频生成模型, 计算机视觉

**Categories:** AI资讯

---