据7月24日报道，腾讯于7月23日宣布将混元多模态模型部门与大语言模型部门合并，组建基础模型部，由首席AI科学家姚顺雨统率。此举旨在提升研发与协同效率，全力冲刺全模态模型的智能上限。整合早有伏笔，去年12月姚顺雨已接管大语言模型团队，如今双边归一，意味着腾讯集中资源推动多模态与语言深度融合，加速构建新一代统一基础模型，向全模态智能更高峰迈进。
Soul在WAIC2026上发布AI硬件B Soul，展示实时多模态交互与情绪感知应用。CTO陶明表示，公司已从社交App进化为聚焦情绪感知、交互技术和AI模型融合的生态型公司，坚持自研交互大模型路线，区别于通用大模型。
大模型与算力快速突破，但企业AI落地价值未达预期，业界焦点正从模型转向数据。OceanBase发布湖库一体AI数据库，融合数据湖海量存储、数据库事务分析及多模态处理，构建强一致数据底座，为AI Agent提供高效支撑。
阿里发布多模态大模型Qwen3.7-Plus，在文本能力基础上增强视觉-语言功能，统一为智能体基座。该模型融合GUI与CLI交互，实现从原型到软件工程的端到端自动化，并在Vision Arena榜单中表现强劲。
ByteDance推出的新一代多模态4K AI视频与图像生成与编辑平台。
VibePaper 是一款将图像、视频与文本融合在无限画布上的多模态 AI 创意协同工具。
先进的多模态理解模型，融合视觉与语言能力。
多模态大型语言模型，融合视觉与语言理解。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
-
Anthropic
$105
$525
200
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
$6
$24
Baidu
128
$8
$240
52
Gjm1234
Wan2.2是基础视频模型的重大升级版本，专注于将有效MoE架构、高效训练策略和多模态融合等创新技术融入视频扩散模型，为视频生成领域带来更强大、更高效的解决方案。
AbstractPhil
MM-VAE Lyra是一个专门用于文本嵌入转换的多模态变分自编码器，采用几何融合技术。它结合了CLIP-L和T5-base模型，能够有效处理文本嵌入的编码和解码任务，为多模态数据处理提供创新解决方案。
Qwen
Qwen3-VL-2B-Instruct-GGUF是通义千问系列的多模态视觉语言模型的GGUF量化版本，具备20亿参数，支持图像理解和文本生成的无缝融合，可在CPU、GPU等设备上高效运行。
Hugguf
Qwen3-VL-30B-A3B-Instruct是基于Qwen3-VL-30B模型的多模态视觉语言模型，支持图像和文本的联合理解与生成任务。该模型采用先进的视觉语言融合架构，能够处理复杂的多模态推理任务。
NexaAI
Qwen3-VL-4B-Instruct是阿里云Qwen团队推出的40亿参数指令调优多模态大语言模型，专为高通NPU优化，融合强大的视觉语言理解能力与对话微调功能，适用于聊天推理、文档分析和视觉对话等实际应用场景。
chs20
FuseLIP是一种创新的多模态嵌入模型，它通过一个单一的Transformer模型，使用扩展的词汇表同时处理文本和图像离散令牌，实现了模态间的早期深度融合。该方法解决了传统对比式语言-图像预训练模型无法原生编码多模态输入的问题，在视觉问答和文本引导的图像检索等任务上表现出色。
jobs-git
SkyReels V2是全球首个采用扩散强制框架的无限长度电影生成模型，融合多模态大语言模型、多阶段预训练、强化学习与扩散强制技术实现全面优化。
shadowlilac
Llama 4 Scout是Meta推出的170亿参数混合专家架构(MoE)多模态模型，支持12种语言和图像理解，采用topk=4专家动态融合机制。
aimagelab
ReT是一种支持多模态查询与文档检索的创新方法，通过融合视觉与文本骨干网络多层级表征实现细粒度检索。
Robeeeeeeeeeee
Phi-4-multimodal-instruct是一款轻量级开源多模态基础模型，融合了Phi-3.5和4.0模型的语言、视觉及语音研究与数据集。支持文本、图像和音频输入，生成文本输出，并具备128K标记的上下文长度。
microsoft
Phi-4-multimodal-instruct是一款轻量级开源多模态基础模型，融合了Phi-3.5和4.0模型的语言、视觉及语音研究数据。支持文本、图像和音频输入，生成文本输出，并具备128K token的上下文长度。
TucanoBR
ViTucano是首个原生葡萄牙语预训练的视觉助手，融合视觉理解与语言能力，适用于多模态任务如图像描述、视觉问答等。
NVEagle
Eagle是一个以视觉为中心的高分辨率多模态大语言模型家族，通过融合多种视觉编码器和不同输入分辨率，增强了多模态大语言模型的感知能力。
facebook
Meta变色龙是FAIR研发的混合模态早期融合基础模型，支持图像和文本的多模态处理。
zongzhuofan
MoVA-8B是一个开源的多模态大语言模型，采用从粗到细的机制，自适应地路由和融合特定任务的视觉专家模块，可用于多模态模型和聊天机器人的研究。
vikhyatk
16亿参数的多模态模型，融合SigLIP与Phi-1.5技术架构，支持图像理解和问答任务
PsiPi
基于Mistral-7B的视觉语言模型，融合SigLIP-400M视觉编码器和函数调用能力，支持多模态交互
declare-lab
Mustango是一个专为可控音乐生成而设计的全新多模态大语言模型，融合了潜在扩散模型（LDM）、Flan-T5和音乐特征来实现高质量的文本到音乐生成。
photonmz
BabyDoctor是一个多模态大语言模型，融合了CLiP和LLaMA 2的能力，能够理解和生成文本，同时理解图像。该模型经过微调，专门用于解读X光、超声波、核磁共振和CT扫描等放射学图像。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
'%3e%3cpath%20d='M55.2622%2038L48.2289%2022L44.1206%2031.3333H47.2539L45.7872%2034.6667H38.7622L46.0956%2018H37.6706C36.7539%2018%2036.0039%2018.75%2036.0039%2019.6667V36.3333C36.0039%2037.25%2036.7539%2038%2037.6706%2038H55.2622Z'%20fill='white'/%3e%3cpath%20d='M64.3368%2018H50.3535L59.1535%2038H64.3368C65.2535%2038%2066.0035%2037.25%2066.0035%2036.3333V19.6667C66.0035%2018.75%2065.2535%2018%2064.3368%2018ZM63.0868%2034.6667H59.7535V21.3333H63.0868V34.6667Z'%20fill='%23FFCC66'/%3e%3cpath%20d='M89.3379%2026.75V29.25H81.8379V36.75H91.8379V24.25H81.8379V26.75H89.3379ZM84.3379%2034.25V31.75H89.3379V34.25H84.3379Z'%20fill='white'/%3e%3cpath%20d='M103.504%2036.75V29.25H96.0039V26.75H103.504V24.25H93.5039V31.75H101.004V34.25H93.5039V36.75H103.504Z'%20fill='white'/%3e%3cpath%20d='M115.17%2026.75V24.25H105.17V36.75H115.17V34.25H107.67V31.75H115.17V29.25H107.67V26.75H115.17Z'%20fill='white'/%3e%3cpath%20d='M80.1712%2029.25V29.175L78.9962%2028L80.1712%2026.825V20.425L78.9962%2019.25H69.3379V36.75H78.9962L80.1712%2035.575V29.25ZM77.6712%2034.25H71.8379V29.25H77.6712V34.25ZM77.6712%2026.75H71.8379V21.75H77.6712V26.75Z'%20fill='white'/%3e%3c/g%3e%3cg%20clip-path='url(%23clip1_644_3948)'%3e%3cpath%20d='M169.59%2022.9827L169.59%2023.6491H177.409L168.175%2032.8822L169.118%2033.8248L178.351%2024.5917L178.352%2032.4106H179.685V22.3164L179.018%2022.3157H169.59V22.9827Z'%20fill='white'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_644_3948'%3e%3crect%20width='80'%20height='20'%20fill='white'%20transform='translate(36%2018)'/%3e%3c/clipPath%3e%3cclipPath%20id='clip1_644_3948'%3e%3crect%20width='20'%20height='20'%20fill='white'%20transform='translate(164%2018)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)
