视觉大模型因隐形门槛——顶尖效果需天量数据与算力，长期仅为头部团队专属。7月21日，小鹏集团发布TuringViT高效视觉编码器，系统性重构架构、数据范式与训练流程，提供可复现、低成本的SOTA级视觉Transformer训练路径，推动先进视觉能力走向行业普惠。
蚂蚁集团Robbyant开源LingBot-Vision模型家族，通过自监督视觉Transformer与创新“边界建模”，在密集空间感知任务上表现卓越，多项指标超越数倍参数的大模型，突破了现有视觉基础模型偏重物体识别的局限，让机器人精准感知物理空间成现实。
Google发布全新开源大模型Gemma412B，采用“Unified”无编码器架构，突破端侧全模态AI。该模型无需传统视觉、音频外部编码器，直接输入文字、图像、音频、视频四种模态数据至同一Transformer主干网络处理，消除了外挂“翻译”模块带来的显存占用和高延迟问题。
英伟达发布全球首款全开源物理AI大模型Cosmos3，基于混合Transformer架构，融合视觉推理、世界生成与动作预测，将物理AI训练评估周期从数月缩短至数天，解决具身智能数据有限和仿真零散问题。
多模态大型语言模型，融合视觉与语言理解。
用于视觉合成的统一3D Transformer流水线
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
Anthropic
$105
$525
200
$0.7
$7
$35
$17.5
$21
Alibaba
$1
$10
256
$2
$20
-
$8
$240
52
Bytedance
$1.2
$3.6
4
$3.9
$15.2
64
$0.8
NyxKrage
Moondream 3 Preview HF是基于HuggingFace Transformers架构规范对Moondream 3 (Preview)模型的重新实现，使其能够与Hugging Face生态系统完全兼容。这是一个多模态视觉语言模型，采用专家混合（MoE）文本主干，约90亿参数，20亿活跃参数。
nvidia
NVIDIA-Nemotron-Nano-VL-12B-V2-FP4-QAD 是 NVIDIA 推出的自回归视觉语言模型，基于优化的 Transformer 架构，能够同时处理图像和文本输入。该模型采用 FP4 量化技术，在保持性能的同时显著减少模型大小和推理成本，适用于多种多模态应用场景。
NVIDIA-Nemotron-Nano-VL-12B-V2-FP8 是 NVIDIA 推出的量化视觉语言模型，采用优化的 Transformer 架构，在商业图像上进行了三阶段训练。该模型支持单图像推理，具备多语言和多模态处理能力，适用于图像总结、文本图像分析等多种场景。
birder-project
这是一个基于RoPE（旋转位置编码）的Vision Transformer模型，参数规模为150M，采用14x14的patch大小。该模型在约2100万张图像的多样化数据集上进行了预训练，可作为通用视觉特征提取器使用。
iszt
这是一个基于DINOv2预训练的视觉变换器模型，专门针对视网膜彩色眼底照片进行优化。该模型在MEH AlzEye数据集子集上训练，提供与Hugging Face Transformers兼容的格式，便于进行视网膜图像特征提取和下游医学影像任务。
timm
这是一个基于DINOv3框架的视觉Transformer模型，通过知识蒸馏技术从DINOv3 ViT-7B模型在LVD-1689M数据集上训练得到。该模型专门用于图像特征编码，能够高效提取图像特征表示，适用于各种计算机视觉任务。
这是一个基于DINOv3架构的视觉Transformer模型，采用小型(Small)配置，在LVD-1689M数据集上通过知识蒸馏训练而成。该模型专门用于高效提取图像特征，支持图像分类、特征图提取和图像嵌入等多种计算机视觉任务。
这是一个基于DINOv3架构的Vision Transformer图像特征编码器，通过从7B参数的DINOv3 ViT模型在LVD-1689M数据集上进行知识蒸馏得到。该模型专门用于图像特征提取任务，具有强大的视觉表示能力。
facebook
MapAnything是一个端到端训练的Transformer模型，能够以多种模态作为输入，直接回归场景的分解度量3D几何结构。该模型支持超过12种不同的3D重建任务，包括多图像SfM、多视图立体视觉、单目度量深度估计等。
DINOv3是Meta AI开发的一系列通用视觉基础模型，无需微调就能在多种视觉任务中超越专门的先进模型。该模型采用Vision Transformer架构，在16.89亿张网络图像上预训练，能生成高质量的密集特征，在图像分类、分割、检索等任务中表现出色。
MetaCLIP 2 (worldwide) 是一个基于Transformer架构的多语言零样本图像分类模型，支持全球范围内的视觉语言理解任务，能够实现无需训练即可对图像进行分类的能力。
abhilash88
一款先进的视觉Transformer模型，可同时进行高精度年龄估计和性别分类，在UTKFace数据集上实现了94.3%的性别分类准确率和4.5岁的年龄平均绝对误差。
mradermacher
Perseus-Doc-vl-0712量化模型是一个支持文本生成推理、图像字幕生成、光学字符识别等多领域应用的视觉与语言理解模型，基于transformers库构建。
Mungert
Holo1-3B是基于Transformer架构的多模态模型，专注于视觉文档检索任务，在WebVoyager基准测试中表现出色，平衡了准确性和成本。
google
Gemma 3n是谷歌推出的轻量级多模态模型，基于Transformer架构，支持文本、音频和视觉（图像和视频）输入，适用于低资源设备。
chs20
FuseLIP是一种创新的多模态嵌入模型，它通过一个单一的Transformer模型，使用扩展的词汇表同时处理文本和图像离散令牌，实现了模态间的早期深度融合。该方法解决了传统对比式语言-图像预训练模型无法原生编码多模态输入的问题，在视觉问答和文本引导的图像检索等任务上表现出色。
ByteDance-Seed
SAIL是一个专为视觉与语言设计的单一Transformer模型，作为统一的多模态大语言模型（MLLM），它在单一架构中无缝集成了原始像素编码和语言解码功能。
基于80亿MetaCLIP数据训练的70亿参数视觉Transformer模型，采用DINOv2自监督学习框架，无需语言监督
20亿参数的自监督视觉Transformer模型，基于严格筛选的网络图像数据训练，特别优化图表和文本理解能力
50亿参数的视觉Transformer模型，通过20亿网络图像的自监督学习训练而成，无需语言监督即可在各种视觉任务中表现优异。
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
'%3e%3cpath%20d='M55.2622%2038L48.2289%2022L44.1206%2031.3333H47.2539L45.7872%2034.6667H38.7622L46.0956%2018H37.6706C36.7539%2018%2036.0039%2018.75%2036.0039%2019.6667V36.3333C36.0039%2037.25%2036.7539%2038%2037.6706%2038H55.2622Z'%20fill='white'/%3e%3cpath%20d='M64.3368%2018H50.3535L59.1535%2038H64.3368C65.2535%2038%2066.0035%2037.25%2066.0035%2036.3333V19.6667C66.0035%2018.75%2065.2535%2018%2064.3368%2018ZM63.0868%2034.6667H59.7535V21.3333H63.0868V34.6667Z'%20fill='%23FFCC66'/%3e%3cpath%20d='M89.3379%2026.75V29.25H81.8379V36.75H91.8379V24.25H81.8379V26.75H89.3379ZM84.3379%2034.25V31.75H89.3379V34.25H84.3379Z'%20fill='white'/%3e%3cpath%20d='M103.504%2036.75V29.25H96.0039V26.75H103.504V24.25H93.5039V31.75H101.004V34.25H93.5039V36.75H103.504Z'%20fill='white'/%3e%3cpath%20d='M115.17%2026.75V24.25H105.17V36.75H115.17V34.25H107.67V31.75H115.17V29.25H107.67V26.75H115.17Z'%20fill='white'/%3e%3cpath%20d='M80.1712%2029.25V29.175L78.9962%2028L80.1712%2026.825V20.425L78.9962%2019.25H69.3379V36.75H78.9962L80.1712%2035.575V29.25ZM77.6712%2034.25H71.8379V29.25H77.6712V34.25ZM77.6712%2026.75H71.8379V21.75H77.6712V26.75Z'%20fill='white'/%3e%3c/g%3e%3cg%20clip-path='url(%23clip1_644_3948)'%3e%3cpath%20d='M169.59%2022.9827L169.59%2023.6491H177.409L168.175%2032.8822L169.118%2033.8248L178.351%2024.5917L178.352%2032.4106H179.685V22.3164L179.018%2022.3157H169.59V22.9827Z'%20fill='white'/%3e%3c/g%3e%3cdefs%3e%3cclipPath%20id='clip0_644_3948'%3e%3crect%20width='80'%20height='20'%20fill='white'%20transform='translate(36%2018)'/%3e%3c/clipPath%3e%3cclipPath%20id='clip1_644_3948'%3e%3crect%20width='20'%20height='20'%20fill='white'%20transform='translate(164%2018)'/%3e%3c/clipPath%3e%3c/defs%3e%3c/svg%3e)
