做视频AI导航网
做视频AI导航网
AI导航
  • 热门工具
  • Agent智能体
  • Skills技能
  • AI大模型
  • AI创作
  • AI工具集
视频Video
  • 素材下载
  • 创作灵感
Github神器
搜索
  • 导航
  • 资讯
  • 视频素材
  • 视频模版
  • 音乐音效
  • Luts调色预设
  • 整合包
首页/
打开 MD 链接

MAVIN – 按剧本生成多镜头音视频的叙事控制模型

9
让AI沿着叙事时间线安排镜头、对白、动作与角色身份
评分
论文收录:ECCV 2026 Oral产品类型:多镜头音视频生成研究核心控制:镜头边界、对白区间、角色身份主要技术:Boundary-aware Attention、ID-aware Propagation
MAVIN是ECCV 2026 Oral多镜头音视频生成研究,通过边界感知注意力、身份感知传播和多智能体脚本流…
AI视频

MAVIN 是面向多镜头音视频联合生成的研究框架,重点解决镜头切换、对白时间、跨镜头角色一致性以及视觉身份与音色绑定等问题。用户可以从自由形式的故事描述出发,经由多智能体脚本流水线形成全局、镜头和角色三级结构化脚本,再由生成模型按照时间边界执行。

核心技术

  • 边界感知注意力:把镜头描述、角色动作和对白限制在对应时间区间。
  • 身份感知传播:通过参考图像、参考音频和身份掩码维持跨镜头外貌与音色一致。
  • 多智能体脚本流水线:将故事梗概补全为包含镜头边界、对白区间、动作和环境声音的可执行脚本。
  • 音视频双塔架构:分别建模视频和音频,并通过跨模态注意力交换信息。

适用场景

MAVIN 面向多角色短剧、数字人表演、影视预演、叙事广告和交互式内容研究,可用于探索镜头节奏控制、说话时间控制、外貌与音色组合以及智能脚本规划。

该页面为研究项目主页,当前是否开放代码、模型权重或在线体验,请以项目页实时状态为准。

常见问题(FAQ)

MAVIN是什么?
MAVIN是面向多镜头音视频联合生成的研究框架,能控制镜头边界、对白时间与多角色视听身份。
MAVIN如何保持角色一致?
它使用参考图像、参考音频、身份嵌入和身份感知掩码,让不同镜头只读取实际出场角色的外貌与音色条件。
MAVIN可以从一句话生成多镜头故事吗?
其多智能体脚本流水线可以把自由形式输入补全为全局、镜头和角色三级脚本,再交给模型按时间线生成。
MAVIN是否已经开放模型和代码?
项目页主要展示论文方法和案例;代码、权重与体验是否开放应以项目主页的实时状态为准。
0 讨论
热门最新
总结
暂无总结
0 / 600
细中粗

相关网站

热门最新

LingBot-VA – 把视频理解、动作建模和机器人控制连到一起的具身智能大模型

面向通用机器人控制的因果视频-动作世界模型页面,聚焦具身智能、世界模型与机器人学习方向

聚焦具身智能、机器人控制与视频动作世界模型方向的前沿大模型页面。

0

Pavo – 一句话生成 AI 短剧与视频的一站式创作平台

从一句创意生成剧情、角色、场景、分镜与视频,面向 AI 短剧的一站式 Agent 工作流

Pavo 是一款一站式 AI 短剧与视频创作平台,支持从一句创意生成剧情、角色、场景、分镜、关键帧和视频,并提…

0

VEED – 想把生成、配音、字幕、剪辑放进一条工作流里,这个平台很省心

面向创作者与营销团队的一站式 AI 视频平台,覆盖生成、编辑、配音、自动字幕与多场景出片

VEED 是一款把 AI 视频生成、编辑、配音和自动字幕整合到同一工作流里的创作平台,特别适合高频视频内容团队…

0

LibTV – 从剧本分镜到成片的一站式 AI 视频创作工作台

像 AI 视频创作者的总控台,把剧本、分镜、画面、视频和模型调用放进一张无限画布

LibTV 更像 AI 视频创作者的总控台,把剧本、分镜、画面、视频、音频和模型调用摊在一张无限画布上,适合做…

0

Xmax AI – 想实时重绘现实和互动视频,这个 AI 视频模型平台很前沿

构建实时交互式 AI 视频模型,让现实画面可以被即时重绘、控制和互动

Xmax AI 是实时交互式 AI 视频模型平台,主打实时视频重绘、角色与风格变换、空间互动和动态视频控制,适…

0

MoWorld – 高帧率实时交互世界模型

面向 NPU 的高帧率实时交互世界模型,适合关注世界模型和视频生成的用户。

面向 NPU 的实时交互世界模型,强调高帧率、低成本和连续控制的视频世界生成能力。

0

Runway – 用世界模型生成电影感 AI 视频的创作平台

推荐!把文字、图片和创意分镜变成电影感动态画面的 AI 视频创作平台

Runway 是面向创作者、影视团队和企业内容团队的 AI 视频生成与生成式媒体平台,主打 Gen-4.5、R…

0

Descript – 想像改文稿一样改视频和播客,这个 AI 编辑器太省事了

把视频编辑、播客制作、转录、配音和文字剪辑整合到一起的 AI 内容编辑平台

Descript 是一款以文字驱动剪辑为特色的 AI 音视频编辑平台,适合播客、口播、访谈和知识型内容创作者快…

0

SenseNova U1.5 – 开源4K图像生成、编辑与复杂排版模型

一个模型统一完成理解、生成、编辑与复杂视觉排版

SenseNova U1.5 是商汤开源的原生统一多模态模型,支持图像生成、编辑、视觉理解、复杂中英文排版、多…

0

腾讯混元 HyCreator – 用Agent Harness自动完成十分钟级长视频

从故事到成片的长视频 Agent Harness 技术预览

腾讯混元团队展示的长视频创作 Agent Harness,可从故事想法自动完成剧本、分镜、视频生成与结果评估,…

0
所有的成功,都源自一个勇敢的开始
不辜负每一个勇敢的开始
做视频AI导航网 © 2026闽ICP备16009488号-1