百度发布文心大模型5.0正式版，拥有2.4万亿参数，实现从多模态融合到“原生全模态”的跨越。其采用原生全模态统一建模技术，在统一架构中对文本、图像、视频和音频进行联合训练，区别于行业常见的“后期合成”方案。
百度发布文心5.0全模态大模型，参数达2.4万亿，具备强大语言理解与生成能力。其采用全模态统一建模技术，可同时处理文本、图像、音频和视频，实现多类型数据的融合优化，标志着AI领域的重要进展。
英伟达CEO黄仁勋在达沃斯论坛上表示，过去一年AI模型层取得三大突破：一是代理式AI的崛起，模型具备复杂推理与计划能力；二是开源模型生态繁荣，如DeepSeek等降低了技术门槛；三是多模态AI的快速发展，推动AI应用更广泛落地。
快手旗下可灵AI在2026年初实现爆发式增长，月活跃用户突破1200万，App付费用户环比激增350%。增长主要得益于产品快速迭代，包括2025年底发布的多模态视频模型O1和“音画同出”功能，以及2026年1月推出的“动作控制”新功能，用户可通过图片和动作参考生成视频。
多模态信息检索与重排序模型，支持文本、图像、视频等输入。
多模态重排序模型，支持文本、图像、视频等输入。
先进的多模态嵌入和重排名模型，支持文本、图像和视频。
消除幻觉，多模态RAG不忘信息，智能编排前沿模型，任务表现卓越
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$6
$24
$2
$20
Baidu
128
TomoroAI
TomoroAI/tomoro-colqwen3-embed-4b是一款先进的ColPali风格多模态嵌入模型，能够将文本查询、视觉文档（如图像、PDF）或短视频映射为对齐的多向量嵌入。该模型结合了Qwen3-VL-4B-Instruct和Qwen3-Embedding-4B的优势，在ViDoRe基准测试中表现出色，同时显著减少了嵌入占用空间。
Gjm1234
Wan2.2是基础视频模型的重大升级版本，专注于将有效MoE架构、高效训练策略和多模态融合等创新技术融入视频扩散模型，为视频生成领域带来更强大、更高效的解决方案。
John1604
Qwen3 VL 4B Thinking 是一个支持图像到文本以及文本到文本转换的多模态模型，具有4B参数规模，能够满足多种图文交互需求。
MuXodious
Gemma 3n E4B IT 是谷歌推出的轻量级多模态开放模型，基于与Gemini模型相同的研究构建。该模型支持文本、音频和视觉输入，适用于多种任务，采用MatFormer架构实现高效参数利用。
pramjana
Qwen3-VL-4B-Instruct是阿里巴巴推出的40亿参数视觉语言模型，基于Qwen3架构开发，支持多模态理解和对话任务。该模型具备强大的图像理解和文本生成能力，能够处理复杂的视觉语言交互场景。
ExaltedSlayer
Gemma 3是谷歌推出的轻量级开源多模态模型，本版本为12B参数的指令调优量化感知训练模型，已转换为MLX框架的MXFP4格式，支持文本和图像输入并生成文本输出，具有128K上下文窗口和140+语言支持。
OpenMMReasoner
OpenMMReasoner是一个完全透明的两阶段多模态推理方案，涵盖有监督微调（SFT）和强化学习（RL）。该方案通过精心构建高质量数据集，在多个多模态推理基准测试中超越了强大的基线模型，为未来大规模多模态推理研究奠定了坚实的实证基础。
sbintuitions
Sarashina2.2-Vision-3B是由SB Intuitions训练的日本大型视觉语言模型，基于Sarashina2.2-3B-Instruct和SigLIP图像编码器构建，具备强大的图像到文本转换能力，支持日语和英语的多模态处理。
tencent
混元OCR是由混元原生多模态架构驱动的端到端OCR专家VLM模型，仅用10亿参数的轻量级设计，在多个行业基准测试中取得最先进成绩。该模型擅长处理复杂的多语言文档解析，在文本定位、开放域信息提取、视频字幕提取和图片翻译等实际应用场景中表现出色。
sensenova
SenseNova-SI是基于多模态基础模型构建的空间智能增强模型系列，通过精心策划的800万样本数据训练，在多个空间智能基准测试中取得了优异表现，同时保持了强大的通用多模态理解能力。
cyankiwi
ERNIE-4.5-VL-28B-A3B-Thinking AWQ - INT8是基于百度ERNIE-4.5架构的多模态大语言模型，通过AWQ量化技术实现8位精度，在保持高性能的同时大幅降低内存需求。该模型在视觉推理、STEM问题解决、图像分析等方面表现出色，具备强大的多模态理解和推理能力。
SenseNova-SI是基于成熟多模态基础模型构建的空间智能增强模型系列，通过精心策划的800万数据样本训练，在多个空间智能基准测试中展现出卓越性能，同时保持强大的通用多模态理解能力。
NyxKrage
Moondream 3 Preview HF是基于HuggingFace Transformers架构规范对Moondream 3 (Preview)模型的重新实现，使其能够与Hugging Face生态系统完全兼容。这是一个多模态视觉语言模型，采用专家混合（MoE）文本主干，约90亿参数，20亿活跃参数。
HIT-TMG
Uni-MoE 2.0-Omni 是荔枝科技（Lychee）推出的完全开源全模态模型，采用全模态 3D RoPE 和动态容量专家混合架构，显著提升了以语言为中心的多模态理解、推理和生成能力。该版本集成了全模态理解以及音频和图像生成能力。
DavidAU
这是一个增强版的多模态视觉语言模型，基于Qwen3-VL-8B-Thinking模型，通过Brainstorm 20x技术扩展至12B参数，采用NEO Imatrix增强的GGUF量化。模型具备强大的图像理解、文本生成和多模态推理能力，在视觉感知、文本质量和创意场景方面都有显著提升。
AbstractPhil
MM-VAE Lyra是一个专门用于文本嵌入转换的多模态变分自编码器，采用几何融合技术。它结合了CLIP-L和T5-base模型，能够有效处理文本嵌入的编码和解码任务，为多模态数据处理提供创新解决方案。
cemoss17
nutrient-gram-qwen-3-vl-2b是基于Qwen/Qwen3-VL-2B-Instruct的微调版本，使用TRL进行监督微调训练，主要用于文本生成任务。该模型在保持原有多模态能力的基础上，针对特定任务进行了优化。
SenseNova-SI是基于多模态基础模型构建的空间智能模型系列，专门针对空间理解能力进行优化。通过大规模空间智能数据训练，在度量估计、空间关系理解、视点变化处理等方面表现优异。
ggml-org
这是一个基于Qwen3-VL-30B-A3B-Instruct模型转换的GGUF格式版本，专门为llama.cpp优化。该模型是一个300亿参数的多模态视觉语言模型，支持图像理解和文本生成任务。
noctrex
这是一个基于Mistral架构的图像文本转文本量化模型，参数规模为24B，专门针对指令跟随任务进行了优化训练，支持多模态输入处理。
MCPollinations是一个基于Model Context Protocol（MCP）的多模态AI服务，支持通过Pollinations API生成图像、文本和音频。它提供无需认证的轻量级服务，兼容多种AI模型，并支持图像保存和Base64编码返回。
Pixeltable的多模态模型上下文协议服务器集合，提供音频、视频、图像和文档的索引与查询功能
Context Engineering MCP平台是一个AI上下文管理与优化平台，通过系统化的方法设计、管理和优化AI模型的输入信息，实现提示工程的工程化。平台提供智能分析引擎、优化算法、模板管理等功能，显著提升AI响应质量、降低API成本，并支持多模态内容处理。
Ollama MCP Server是一个连接Ollama本地大语言模型和模型上下文协议(MCP)的桥梁工具，提供完整的API集成、模型管理和执行功能，支持OpenAI兼容的聊天接口和视觉多模态模型。
MCP门户是Model Context Protocol的官方社区平台，提供文档、实践指南、服务器实现、工具集成等资源，支持AI模型通过MCP协议访问外部工具，涵盖从数据库连接到多模态应用等丰富场景。
OpenRouter MCP多模态服务器是一个通过OpenRouter.ai提供文本聊天和图像分析功能的协议服务器，支持多种模型选择和性能优化。
该项目为Pixeltable的多模态模型上下文协议服务器集合，提供音频、视频、图像和文档的索引与查询服务，支持Docker本地部署。
ToolChat是一个通过MCP服务器与大型语言模型(LLM)交互的工具，支持配置多工具服务器并调用特定功能，还能处理多模态输入如图片和文档。
RAG Anything MCP Server是一个提供全面检索增强生成(RAG)能力的模型上下文协议服务器，支持多模态文档处理与查询，具备端到端文档解析、批量处理、高级查询及持久化存储等功能。
TransformersOther%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
