CoDi-多模态 AI 大模型
CoDi是什么?
CoDi (Composable Diffusion) 是一个新颖的生成模型,能够从任何组合的输入模态(如语言、图像、视频或音频)生成任何组合的输出模态。
与现有的生成 AI 系统不同,CoDi 可以并行生成多种模态,其输入不仅限于文本或图像等子集模态。尽管许多模态组合的训练数据集不存在,但我们提出在输入和输出空间中对模态进行对齐。这使 CoDi 能够自由地根据任何输入组合进行条件设置,并生成任何模态组,即使它们在训练数据中不存在。CoDi 采用了一种新颖的可组合生成策略,该策略涉及通过在扩散过程中建立对齐来构建共享的多模态空间,从而实现交织模态(如时间对齐的视频和音频)的同步生成。CoDi 高度定制化和灵活,实现了强大的联合模态生成质量,并与单模态合成的最新技术相媲美或者在同等水平。
CoDi 的模型架构使用了多阶段训练方案,使其能够仅对线性数量的任务进行训练,但对所有输入和输出模态的组合进行推理。
CoDi 的使用示例包括:
- 多输出联合生成:模型接受单个或多个提示(包括视频、图像、文本或音频),生成多个对齐的输出,如伴有声音的视频。
- 多条件生成:模型接受多个输入(包括视频、图像、文本或音频)生成输出。
- 单对单生成:模型接受单个提示(包括视频、图像、文本或音频)生成单个输出。
数据评估
关于CoDi-多模态 AI 大模型特别声明
本站做视频AI导航网提供的CoDi-多模态 AI 大模型都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由做视频AI导航网实际控制,在2023年10月24日 下午10:56收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,做视频AI导航网不承担任何责任。
相关导航
CM3leon是Meta AI开发的一种...
浦语灵笔-上海AI实验室开源图文混合创作大模型
浦语灵笔是上海人工智能实验...
银河大模型-作业帮发布的自研教育AI大模型
银河大模型是作业帮自主研发...
文心千帆:百度AI大模型平台
一站式企业级大模型平台,提...
百川智能发布角色大模型 ,零代码复刻角色轻松满足游戏领域定制需求
2024年1月9日,百川智能发布...
Open-Sora: 开源OpenAI Sora复现方案
Open-Sora是一个开源Sora复现...
天镜大模型-国内首个零售金融大模型
“天镜”寓意大模型是人类智慧...
Stable Code Instruct 3B:Stability AI推出的代码语言模型
Stable Code Instruct 3B是St...
暂无评论...