9月16日，2026 vivo开发者大会宣布蓝心大模型全面升级，打造以个人为中心的智能体矩阵，发布Blue LM-RealTime、Nano、Flash、Pro四款核心模型，覆盖语音理解、端侧感知记忆与云侧任务执行。语音模型采用端到端架构，抗嘈杂口音，端侧模型可沉淀个人记忆。
MiniMax H3视频大模型落地面临多环节时延挑战，vLLM-Omni架构以完整常驻流水线切入，通过长序列注意力与通信优化、融合DiT算子、并行VAE解码及紧凑输出等系统级手段，大幅压缩端到端时延，为高效实时视频生成服务提供新方案。
英伟达发布首款开源端到端全双工语音对话模型NemotronLabs VoiceChat11B，用单一网络直接完成流式语音理解与生成，取代传统ASR、LLM、TTS分步架构，实现实时语音交互突破。
字节Seed团队推出SeedRealtime大模型，以统一架构原生融合音频、视频和文本，实现“边看边听边说”的全双工实时交互。该能力已在豆包App全量上线，率先规模化落地。相比传统级联方案“听-转写-想-说”的逐段拼接，其端到端设计消除了感知与表达的割裂。
Anthropic
$21
Input tokens/M
$105
Output tokens/M
200
Context Length
Alibaba
$0.3
-
32
Google
$140
$280
Baidu
Tencent
$1
$3
4
$525
$0.7
$1.4
131
$2
$3.5
$10.5
tencent
混元OCR是由混元原生多模态架构驱动的端到端OCR专家VLM模型，仅用10亿参数的轻量级设计，在多个行业基准测试中取得最先进成绩。该模型擅长处理复杂的多语言文档解析，在文本定位、开放域信息提取、视频字幕提取和图片翻译等实际应用场景中表现出色。
speechbrain
这是一个基于SpeechBrain框架训练的端到端自动语音识别系统，使用Conformer架构在25,000小时英文语音数据上训练。
scb10x
台风2-音频版是一个端到端的语音转语音模型架构，能够处理音频、语音和文本输入，并同时生成文本和语音输出。该模型专门针对泰语优化，同时也支持英语。
nvidia
基于Sortformer架构的端到端说话人日志模型，通过按说话人语音段到达时间顺序解决日志中的排列问题，支持最多4个说话人识别。
facebook
MobileLLM是Meta开发的优化Transformer架构语言模型，专为资源受限的端侧应用设计，参数规模从125M到1.5B不等。
MohamedRashad
专为阿拉伯语设计的端到端结构化光学字符识别（OCR）系统，基于facebook/nougat-base架构微调
srimanth-d
GOT-OCR2.0是一个多语言通用OCR模型，采用端到端架构实现先进的文本识别能力。
Brian314
TexTeller是基于ViT架构的端到端公式识别模型，能够将自然场景图像中的数学公式直接转换为LaTeX格式公式。
DigitalUmuganda
这是一个基于端到端深度学习的基尼亚卢旺达语文本转语音(TTS)系统，使用Coqui的TTS库和YourTTS架构训练。
PekingU
首个实时端到端目标检测器，基于Transformer架构，消除非极大值抑制需求，在速度与精度上超越YOLO系列
hoang-quoc-trung
Sumen是一个基于Transformer架构的端到端模型，专门用于将数学公式图像转换为LaTeX序列，支持印刷体和手写体公式识别。
专为阿拉伯语设计的端到端结构化光学字符识别系统，基于facebook/nougat-small架构微调
OleehyO
TexTeller是基于ViT架构的端到端公式识别模型，能够识别自然图像中的数学公式并将其转换为LaTeX格式公式。
openaccess-ai-collective
Mistral架构的随机初始化模型，适用于端到端测试。
Meta公司开发的马绍尔语文本转语音模型，采用VITS端到端架构，支持高质量语音合成
Meta公司开发的莫西语文本转语音模型，基于VITS架构，支持端到端语音合成
Meta公司开发的加泰罗尼亚语文本转语音模型，采用VITS端到端架构，支持高质量语音合成
Meta公司开发的Kuwaa语(blh)文本转语音模型，属于大规模多语言语音计划的一部分，采用VITS端到端语音合成架构
Meta公司开发的哈里亚纳维语文本转语音模型，属于大规模多语言语音(MMS)项目的一部分，采用VITS端到端语音合成架构。
Meta公司开发的卢旺达语文本转语音(TTS)模型，采用VITS端到端架构，支持高质量语音合成
PytorchEnglish%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
Join Now
