苹果公司最近在其研究中介绍了一种名为 Manzano 的新型图像模型,该模型旨在同时处理图像理解和生成。这一双重能力的实现是当前许多开源模型面临的技术难题,而苹果表示,这使其在图像处理的效率和效果上更接近商业系统,如 OpenAI 和谷歌所提供的技术。
目前,Manzano 尚未对外发布,也没有进行公开演示。但苹果的研究团队分享了一篇研究论文,附带了一些低分辨率的图像样本,展示了模型在处理复杂提示时的能力。这些样本与开源模型 Deepseek Janus Pro 和商业系统 GPT-4o、Gemini2.5Flash Image Generation(又名 “Nano Banana”)的输出进行了对比。在三组挑战性提示的测试中,Manzano 的表现与 OpenAI 的 GPT-4o 和谷歌的 Nano Banana 相当。
苹果指出,目前大多数开源模型的核心限制在于,它们往往需要在强大的图像分析和生成能力之间进行选择,而商业系统则能够两者兼顾。尤其是在处理包含大量文本的任务时,如阅读文件或解读图表,现有模型表现尤为乏力。
Manzano 的设计采用了一种混合图像标记器,这一核心理念使其能够输出两种类型的标记:连续标记和离散标记。连续标记用浮点数表示图像,用于理解,而离散标记则将图像划分为固定类别,以便于生成。由于两种标记都来自同一个编码器,这减少了传统模型中可能出现的冲突。
在训练阶段,Manzano 融合了连续和离散适配器来调整语言模型的解码器。推理时,它提供了理解和生成图像所需的两个数据流。Manzano 的架构主要由三部分组成:混合标记器、统一语言模型和用于最终输出的独立图像解码器。苹果构建了三种不同参数量的图像解码器,分别为0.9亿、1.75亿和3.52亿个参数,支持256到2048像素的分辨率。
苹果的测试结果显示,Manzano 在多个基准测试中表现优异,特别是在处理文本密集型任务如图表和文件分析方面,30亿参数版本的得分尤为突出。研究还发现,随着模型参数量从3亿到30亿增加,性能持续改善。
Manzano 不仅能处理经典的图像编辑任务,还能执行基于提示的编辑、风格迁移、图像填充、扩展和深度估计等新任务。苹果认为,Manzano 是现有模型的一个可行替代方案,其模块化设计可能会对未来的多模态 AI 产生深远影响。
论文:https://arxiv.org/abs/2509.16197
划重点:
🌟 Manzano 是一种新型图像模型,能够同时进行图像理解和生成。
🔍 苹果的研究显示,Manzano 在处理复杂文本任务时表现优异,接近商业系统的水平。
⚙️ 该模型采用混合图像标记器,减少了图像理解与生成之间的冲突。