做视频AI导航网
做视频AI导航网
AI导航
  • 热门工具
  • Agent智能体
  • Skills技能
  • AI大模型
  • AI创作
  • AI工具集
视频Video
  • 素材下载
  • 创作灵感
Github神器
  • 导航
  • 资讯
  • 视频素材
  • 视频模版
  • 音乐音效
  • Luts调色预设
  • 整合包
首页/
打开 MD 链接
T

TaoMate-H3 - 淘宝开源三步流式音视频生成模型

3
三步LoRA驱动的低延迟音视频联合生成与分钟级续写
评分
项目名称:TaoMate-H3开发团队:Alibaba TaoLive AIGC Team基础模型:MiniMax H3输出能力:480p、768p、对齐1080p;横屏与竖屏;原生音频部署要求:Linux、Python 3.10/3.11、CUDA 12.8、PyTorch 2.8、4卡或8卡Hopper GPU许可提醒:遵循MiniMax H3 Community License,使用前阅读完整条款
基于MiniMax H3的开源低延迟音视频生成运行时,以三步LoRA实现分块流式生成、原生音频和分钟级连续续写…
AI视频|AI视频·TaoMate-H3·开发者工具·开源模型·音视频生成

TaoMate-H3是什么?

TaoMate-H3是阿里巴巴淘宝TaoLive AIGC团队开源的低延迟流式音视频生成运行时。它建立在MiniMax H3之上,通过三步LoRA把连续视频拆成小片段生成,在同一时间线上同步处理画面、对白、歌声、环境音与动作音效。

TaoMate-H3三步流式音视频联合生成模型及官方性能摘要
TaoMate-H3三步流式音视频联合生成模型及官方性能摘要。图片来自项目公开演示,已压缩为WebP,点击查看大图。

核心能力

  • 三步流式生成:每个小片段只执行三个去噪区间,不必等待整段视频全部完成。
  • 音视频联合:声音与画面共同生成,适合口播、演唱、角色对白和带环境音的场景。
  • 连续续写:利用音视频KV缓存、起始视觉参照和近期上下文,在提示词切换后继续保持人物、声音与动作。
  • 多种规格:支持480p、768p和对齐1080p的横竖屏输出,时长以5秒为单位组织。
  • 开放代码与权重:GitHub提供推理代码,Hugging Face提供T2AV三步LoRA权重。

硬件与环境要求

官方仓库要求Linux、Python 3.10或3.11、CUDA 12.8、PyTorch 2.8、支持H.264与AAC的FFmpeg,以及NVIDIA Hopper/SM90 GPU。支持单机4卡或8卡推理,官方验证配置是8张H20 96GB,因此它目前并不是普通消费级显卡的一键工具。

性能口径

在8张H20 96GB、480×864、10秒视频的官方测试中,纯DiT计算耗时由MiniMax H3的169.572秒降至14.810秒,约11.45倍加速;首个最终latent就绪时间由170.052秒缩短到6.148秒,约27.66倍加速。上述数据来自项目方特定环境,不代表所有分辨率和部署配置。

适合谁

适合研究流式视频生成、数字人口播、电商讲解、虚拟角色、长视频续写与交互式视听应用的算法团队、AI视频开发者和具备多卡服务器的工作室。普通创作者可先查看公开演示与代码结构,再评估云端算力成本。

官方入口

访问TaoMate-H3官方GitHub仓库

访问TaoMate-H3官方Hugging Face模型页

常见问题(FAQ)

TaoMate-H3是什么?
TaoMate-H3是阿里淘宝TaoLive AIGC团队基于MiniMax H3开发的开源流式音视频生成运行时,使用三步LoRA按小片段同步生成画面和声音。
TaoMate-H3可以生成多长的视频?
项目支持以5秒为单位组织提示词并连续续写,目标是分钟级长内容。实际可用时长受显存、稳定性、提示词和部署配置影响。
TaoMate-H3需要什么显卡?
官方要求NVIDIA Hopper或SM90 GPU,支持单机4卡或8卡,已验证配置为8张H20 96GB,普通消费级显卡并非官方部署目标。
TaoMate-H3能直接生成声音吗?
可以。它联合生成音频与视频,演示覆盖人物对白、歌声、环境音和动作音效,并使用分段音频轨迹帮助稳定节奏与衔接。
TaoMate-H3免费开源吗?
推理代码与T2AV三步LoRA权重已公开,但底座MiniMax H3及衍生使用遵循MiniMax H3 Community License,商业使用前应阅读完整许可。
0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结

相关网站

热门最新
暂无链接数据;请在后台添加链接或调整分类筛选。
所有的成功,都源自一个勇敢的开始
不辜负每一个勇敢的开始
做视频AI导航网 © 2026闽ICP备16009488号-1