商汤科技于4月28日开源“日日新SenseNova U1”系列,这是一款“原生理解生成统一模型”,突破了传统多模态模型依赖不同模块“拼接”的局限,通过统一架构实现视觉与语言模块的深度融合,标志着国产AI在多模态领域的重要技术突破。
商汤科技发布并开源日日新SenseNova U1系列模型,基于自研NEO-unify架构,实现多模态理解、推理与生成的深度统一,标志着从“集成式”向“原生统一”的跨越。该架构摒弃拼接式设计,去除视觉编码器和变分自编码器,提升了模型效率与性能。
美图旗下AI Agent RoboNeo于4月28日接入阿里多模态视频生成模型HappyHorse,结合Seedance 2.0能力升级产品视频创作体验。此次迭代在连续镜头生成、声画同步及素材一致性基础上,拓展了创作维度。RoboNeo自2025年7月上线后全球表现强劲,获瑞银报告关注。
阿里巴巴ATH创新事业部推出新一代多模态视频生成模型HappyHorse,已开启灰度测试。该模型在Arena.ai三大核心榜单(文生视频、图生视频、视频编辑)中表现优异,具备影视级画质与深度语义理解能力,支持1080P超高清输出,能精准驾驭港式风情、古装等多种视觉风格,成为全球AI视频领域的有力竞争者。
字节跳动Seedance 2.0 API,支持多模态输入生成视频,有原生音频等功能。
Wan 2.7是通用多模态AI视频生成平台,支持多信号控制与视频延续。
Ima Studio的多模态AI平台,用文本提示生成图、视频和音频
Seedance 2.0可快速生成2K画质AI视频,支持多模态输入与编辑。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
Baidu
128
$6
$24
Gjm1234
Wan2.2是基础视频模型的重大升级版本,专注于将有效MoE架构、高效训练策略和多模态融合等创新技术融入视频扩散模型,为视频生成领域带来更强大、更高效的解决方案。
pramjana
Qwen3-VL-4B-Instruct是阿里巴巴推出的40亿参数视觉语言模型,基于Qwen3架构开发,支持多模态理解和对话任务。该模型具备强大的图像理解和文本生成能力,能够处理复杂的视觉语言交互场景。
ExaltedSlayer
Gemma 3是谷歌推出的轻量级开源多模态模型,本版本为12B参数的指令调优量化感知训练模型,已转换为MLX框架的MXFP4格式,支持文本和图像输入并生成文本输出,具有128K上下文窗口和140+语言支持。
HIT-TMG
Uni-MoE 2.0-Omni 是荔枝科技(Lychee)推出的完全开源全模态模型,采用全模态 3D RoPE 和动态容量专家混合架构,显著提升了以语言为中心的多模态理解、推理和生成能力。该版本集成了全模态理解以及音频和图像生成能力。
DavidAU
这是一个增强版的多模态视觉语言模型,基于Qwen3-VL-8B-Thinking模型,通过Brainstorm 20x技术扩展至12B参数,采用NEO Imatrix增强的GGUF量化。模型具备强大的图像理解、文本生成和多模态推理能力,在视觉感知、文本质量和创意场景方面都有显著提升。
cemoss17
nutrient-gram-qwen-3-vl-2b是基于Qwen/Qwen3-VL-2B-Instruct的微调版本,使用TRL进行监督微调训练,主要用于文本生成任务。该模型在保持原有多模态能力的基础上,针对特定任务进行了优化。
ggml-org
这是一个基于Qwen3-VL-30B-A3B-Instruct模型转换的GGUF格式版本,专门为llama.cpp优化。该模型是一个300亿参数的多模态视觉语言模型,支持图像理解和文本生成任务。
lmstudio-community
Qwen3-VL-2B-Thinking是由Qwen推出的视觉语言模型,基于2B参数规模,使用MLX进行8位量化,专门针对Apple Silicon芯片进行了优化。该模型支持图像和文本的多模态理解与生成任务。
BAAI
Emu3.5是北京智源人工智能研究院开发的原生多模态模型,能够跨视觉和语言联合预测下一状态,实现连贯的世界建模和生成。通过端到端预训练和大规模强化学习后训练,在多模态任务中展现出卓越性能。
Emu3.5是由北京智源人工智能研究院(BAAI)开发的原生多模态模型,能够跨视觉和语言联合预测下一状态,实现连贯的世界建模与生成,在多模态任务中表现卓越。
Qwen
Qwen3-VL-2B-Instruct-GGUF是通义千问系列的多模态视觉语言模型的GGUF量化版本,具备20亿参数,支持图像理解和文本生成的无缝融合,可在CPU、GPU等设备上高效运行。
unsloth
Qwen3-VL是迄今为止Qwen系列中最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频动态理解以及智能体交互能力等方面都进行了全面升级。该模型采用混合专家(MoE)架构,提供卓越的多模态处理能力。
Qwen3-VL-2B-Instruct是Qwen系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持以及强大的空间和视频动态理解能力。该模型采用2B参数规模,支持指令交互,适用于多模态AI应用。
Gemma 3 27B IT QAT的MLX MXFP4量化版本,是由Google开发的轻量级开源多模态模型。该模型能够同时处理文本和图像输入并生成文本输出,拥有128K大上下文窗口,支持超过140种语言,适用于多种文本生成和图像理解任务。
strangervisionhf
这是一个修复后的图像文本转文本模型,解决了原模型在最新Transformers版本中推理失败的问题。该模型专门用于图像识别和文本生成任务,支持多模态输入处理。
Hugguf
Qwen3-VL-30B-A3B-Instruct是基于Qwen3-VL-30B模型的多模态视觉语言模型,支持图像和文本的联合理解与生成任务。该模型采用先进的视觉语言融合架构,能够处理复杂的多模态推理任务。
mlx-community
这是一个基于Qwen3-VL-32B-Thinking模型转换的4位量化版本,专门针对MLX框架优化。该模型是一个32B参数规模的多模态视觉语言模型,具备思维链推理能力,能够同时处理图像和文本输入,生成高质量的文本响应。
Qwen3-VL是通义系列最强大的视觉语言模型,在文本理解与生成、视觉感知与推理、上下文长度、空间和视频理解能力等方面全面升级,具备卓越的多模态交互能力。
rafacost
DreamOmni2-GGUF是将xiabs/DreamOmni2-7.6B模型转换为GGUF格式的图像到图像模型,支持多模态指令编辑和生成,遵循Apache-2.0许可证。
bartowski
这是Qwen3-VL-4B-Instruct模型的量化版本,使用llama.cpp工具和imatrix数据集生成多种量化类型的文件,支持在不同硬件条件下高效运行的多模态视觉语言模型。
MCPollinations是一个基于Model Context Protocol(MCP)的多模态AI服务,支持通过Pollinations API生成图像、文本和音频。它提供无需认证的轻量级服务,兼容多种AI模型,并支持图像保存和Base64编码返回。
一个基于Pollinations API的多模态MCP服务器,支持生成图像、文本和音频内容
RAG Anything MCP Server是一个提供全面检索增强生成(RAG)能力的模型上下文协议服务器,支持多模态文档处理与查询,具备端到端文档解析、批量处理、高级查询及持久化存储等功能。
GeminiMcpServer是一个连接LM Studio与Google Gemini API的MCP服务器,支持图像生成和多模态任务处理。