UniFluid – 谷歌联合麻省理工推出的多模态图像生成与理解框架
UniFluid 是谷歌 DeepMind 和麻省理工学院联合推出的，统一的自回归框架，用在联合视觉生成和理解任务。基于连续视觉标记处理多模态图像和文本输入，生成离散文本标记和连续图像标记。框架基于预训练的 Gemma 模型，用配对的图像-文本数据训练，让生成和理解任务相互促进。UniFluid 基于标准的 SentencePiece 作为文本标记器，用连续变分自编码器（VAE）作为图像生成的标记器，结合 SigLIP 图像编码器用在理解任务。
20
0
2025-08-31
