初创公司Bedrock Robotics与AWS合作,利用视觉语言模型(VLMs)解决了重型设备自动驾驶系统开发中的关键难题——海量视频数据标注。传统方法依赖人工标注数百万小时监控视频,而新技术显著提升了施工自动化系统的训练效率。
蚂蚁集团开源全模态大模型Ming-Flash-Omni2.0,在视觉语言理解、语音生成、图像处理等多项基准测试中表现优异,部分指标超越Gemini2.5Pro。该模型首创全场景音频统一生成能力,支持在同一条音轨中生成语音、音效和音乐,用户通过自然语言指令即可调整音色、语速等参数。
DeepSeek发布全新视觉编码器DeepSeek OCR2,在文档处理和图像识别领域取得突破。该模型模拟人类视觉的灵活扫描模式,颠覆传统视觉模型处理逻辑。通过引入全新架构,弃用传统CLIP组件,采用轻量级语言模型,实现了根据内容灵活聚焦的特性。
自动驾驶汽车依赖路标识别,但加州大学研究揭示其致命弱点:攻击者通过打印特定文本的标识,就能利用视觉语言模型漏洞,诱导车辆做出危险决策,甚至驶向行人。这种“CHAI”攻击暴露了AI系统对视觉指令的过度依赖风险。
高效的视觉编码技术,提升视觉语言模型性能。
AnyParser是首个具有准确性和速度的文档解析LLM,可从PDF、PowerPoint和图片中精确提取文本、表格、图表和布局信息。
高效的开源专家混合视觉语言模型,具备多模态推理能力。
基于Gemini 2.0的机器人模型,将AI带入物理世界,具备视觉、语言和动作能力。
Openai
$2.8
输入tokens/百万
$11.2
输出tokens/百万
1k
上下文长度
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
Baidu
128
$6
$24
DevQuasar
本项目提供了 Qwen/Qwen3-VL-32B-Thinking 的量化版本(Int4),致力于降低模型部署的硬件门槛,让先进的视觉语言模型知识为每个人所用。
prithivMLmods
CodeV是基于Qwen2.5-VL-7B-Instruct微调得到的70亿参数视觉语言模型,通过监督微调(SFT)和基于工具感知策略优化(TAPO)的强化学习(RL)两阶段训练,旨在实现可靠、可解释的视觉推理。它将视觉工具表示为可执行的Python代码,并通过奖励机制确保工具使用与问题证据一致,解决了高准确率下工具调用不相关的问题。
ActIO-UI-7B-RLVR 是由 Uniphore 发布的 70 亿参数视觉语言模型,专门用于计算机界面自动化任务。它基于 Qwen2.5-VL-7B-Instruct,通过监督微调和可验证奖励的强化学习进行优化,在 GUI 导航、元素定位和交互规划等任务上表现出色,在 WARC-Bench 基准测试中达到了开源 7B 模型的领先水平。
pramjana
Qwen3-VL-4B-Instruct是阿里巴巴推出的40亿参数视觉语言模型,基于Qwen3架构开发,支持多模态理解和对话任务。该模型具备强大的图像理解和文本生成能力,能够处理复杂的视觉语言交互场景。
aisingapore
Qwen-SEA-LION-v4-4B-VL 是一个基于 Qwen3-VL-4B-Instruct 架构构建的 40 亿参数视觉语言模型。它专门针对东南亚地区进行了指令微调,具备多语言和多元文化能力,支持英语及七种东南亚语言,并保留了强大的视觉-语言理解能力。
XiaomiMiMo
米模具身模型(MiMo-Embodied)是一款强大的跨具身视觉语言模型,在自动驾驶和具身AI任务中均展现出了卓越的性能。它是首个将这两个关键领域相结合的开源视觉语言模型,显著提升了在动态物理环境中的理解和推理能力。
sbintuitions
Sarashina2.2-Vision-3B是由SB Intuitions训练的日本大型视觉语言模型,基于Sarashina2.2-3B-Instruct和SigLIP图像编码器构建,具备强大的图像到文本转换能力,支持日语和英语的多模态处理。
noctrex
Jan-v2-VL是一款具有80亿参数的视觉语言模型,专为在真实软件环境(如浏览器和桌面应用程序)中执行长时、多步骤任务而设计。它将语言推理与视觉感知相结合,能够遵循复杂指令、维持中间状态,并从轻微执行错误中恢复。
Jan-v2-VL 是一个拥有80亿参数的视觉语言模型,专为在浏览器和桌面应用程序等真实软件环境中执行长周期、多步骤任务而设计。它将语言推理与视觉感知紧密结合,能够遵循复杂指令、维持中间状态并从轻微执行错误中恢复,实现稳定且持续的任务完成。
cyankiwi
ERNIE-4.5-VL-28B-A3B-Thinking AWQ - INT8是基于百度ERNIE-4.5架构的多模态大语言模型,通过AWQ量化技术实现8位精度,在保持高性能的同时大幅降低内存需求。该模型在视觉推理、STEM问题解决、图像分析等方面表现出色,具备强大的多模态理解和推理能力。
NyxKrage
Moondream 3 Preview HF是基于HuggingFace Transformers架构规范对Moondream 3 (Preview)模型的重新实现,使其能够与Hugging Face生态系统完全兼容。这是一个多模态视觉语言模型,采用专家混合(MoE)文本主干,约90亿参数,20亿活跃参数。
DavidAU
这是一个增强版的多模态视觉语言模型,基于Qwen3-VL-8B-Thinking模型,通过Brainstorm 20x技术扩展至12B参数,采用NEO Imatrix增强的GGUF量化。模型具备强大的图像理解、文本生成和多模态推理能力,在视觉感知、文本质量和创意场景方面都有显著提升。
这是一个基于Moonshot AI技术的量化版本模型,专注于视觉语言理解与生成任务,致力于降低知识获取门槛,让知识为每个人所用。
samwell
NV-Reason-CXR-3B GGUF是NVIDIA NV-Reason-CXR-3B视觉语言模型的量化版本,专为边缘设备部署优化。这是一个30亿参数的模型,专注于胸部X光分析,已转换为GGUF格式并进行量化处理,可在移动设备、桌面设备和嵌入式系统上高效运行。
ggml-org
这是一个基于Qwen3-VL-30B-A3B-Instruct模型转换的GGUF格式版本,专门为llama.cpp优化。该模型是一个300亿参数的多模态视觉语言模型,支持图像理解和文本生成任务。
redponike
Qwen3-VL-4B-Instruct 是通义千问系列最新的视觉语言模型,在4B参数规模下实现了卓越的视觉感知、文本理解与生成、空间推理和智能体交互能力。它支持长上下文和视频理解,具备强大的OCR和多语言处理能力。
unsloth
Qwen3-VL是通义系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持、强大的空间和视频动态理解能力以及出色的智能体交互能力。
Qwen3-VL-32B-Thinking是Qwen系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文处理、空间和视频动态理解能力,以及出色的智能体交互能力。
Qwen3-VL-8B-Thinking是通义千问系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持、强大的空间和视频动态理解能力,以及出色的智能体交互能力。
Qwen3-VL是通义系列中最强大的视觉语言模型,具备卓越的文本理解与生成能力、深入的视觉感知与推理能力、长上下文支持、强大的空间和视频动态理解能力,以及出色的智能体交互能力。
OpenCV MCP Server是一个基于Python的计算机视觉服务,通过Model Context Protocol (MCP)提供OpenCV的图像和视频处理能力。它为AI助手和语言模型提供从基础图像处理到高级对象检测的全套计算机视觉工具,包括图像处理、边缘检测、人脸识别、视频分析和实时对象跟踪等功能。
展示计算机视觉工具与语言模型通过MCP的集成
Ollama MCP Server是一个连接Ollama本地大语言模型和模型上下文协议(MCP)的桥梁工具,提供完整的API集成、模型管理和执行功能,支持OpenAI兼容的聊天接口和视觉多模态模型。
DINO-X MCP是一个通过DINO-X和Grounding DINO 1.6 API赋能大型语言模型进行细粒度目标检测和图像理解的项目。它能够实现精确的对象定位、计数、属性分析以及场景理解,支持自然语言驱动的视觉任务和工作流集成。
DINO-X MCP是一个结合大型语言模型与DINO-X、Grounding DINO 1.6 API的项目,旨在实现细粒度物体检测和图像理解,支持自然语言驱动的视觉任务和自动化场景。