项目简介
Multimodal Flow 是一项统一语言与视觉建模的研究工作。它不把视觉强制量化为语言式 Token，也不让文本和图像分别走两套生成目标，而是在各自的连续嵌入空间中，使用共享的 Flow Matching 目标完成联合建模。
研究要点
- 全连续表示：文本与图像均保留连续特征表示，减少视觉 Token 化带来的信息损失。
- Hyperchunk：把文本块和视觉网格特征组织为统一多模态序列，方便按任务组合输入与输出。
- Chunk-Causal Flow：使用块级因果掩码，同时允许当前块内部联合建模。
- 共享注意力、模态特定 FFN：促进跨模态交互，同时避免不同模态统计特征被过度强行统一。
适合谁查看
从事视觉语言模型、文生图、图生文、Flow Matching、统一多模态预训练和物理 AI 研究的开发者、学生和算法工程师，可用该项目了解一种不同于全离散与双系统混合架构的技术路线。
如何阅读和复现
- 先阅读论文的模型结构、受控对比和消融实验，明确其数据规模与评价范围。
- 通过项目主页进入官方代码仓库，查看环境、依赖、数据与训练脚本说明。
- 从小规模推理或最小示例开始，再评估显存、训练时长、数据许可和下游任务指标。
- 复现时分别记录生成质量、图文理解、收敛曲线和推理速度，避免只比较单一得分。
使用提醒
公开论文中的结果来自特定模型大小、数据和训练设置。项目是否提供权重、演示、许可证或商用条件，应以项目主页与代码仓库的当前说明为准。