OpenAI推出两项API更新，提升AI智能体在语音交互与复杂任务中的性能。全新实时模型gpt-realtime-1.5及配套音频模型，显著提高语音命令可靠性。内部测试显示，新模型在数字字母转录准确率上提升约10%，逻辑音频任务准确率提高5%，指令执行准确率提升7%。
2026年春节期间，国产AI大模型赛道迎来密集发布潮，字节跳动、智谱、MiniMAX等头部企业相继推出新品，带动资本市场对AI应用板块热情高涨。其中，字节跳动发布的Seedance 2.0视频生成模型尤为瞩目，支持文本和图像输入，可生成长达60秒的多镜头视频，并实现了画质跨越，具备原生音频同步与出色的运镜规划能力。
蚂蚁集团开源全模态大模型Ming-Flash-Omni2.0，在视觉语言理解、语音生成、图像处理等多项基准测试中表现优异，部分指标超越Gemini2.5Pro。该模型首创全场景音频统一生成能力，支持在同一条音轨中生成语音、音效和音乐，用户通过自然语言指令即可调整音色、语速等参数。
字节跳动内测多模态视频生成模型Seedance2.0，整合图像、视频、音频和文本处理能力，提供“导演级”控制精度，显著提升内容创作效率与质量。
S02AI基于Sora2模型，可从文本或图像生成带音频的高质量AI视频。
基于LTX 2模型，生成4K视频，音频同步，专业创作者适用。
通过音频扩散模型实现源分离和合成的创新方法。
Zarin是首个开源AI平台，集成了200多个热门和最新的AI多模型，可生成图片、视频、音频、代码、学术论文等。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$2
$20
$6
$24
Baidu
128
MuXodious
Gemma 3n E4B IT 是谷歌推出的轻量级多模态开放模型，基于与Gemini模型相同的研究构建。该模型支持文本、音频和视觉输入，适用于多种任务，采用MatFormer架构实现高效参数利用。
nari-labs
Dia2是由Nari Labs开发的流式对话文本转语音(TTS)模型，支持实时语音生成，无需完整文本即可开始生成音频，能够根据对话上下文进行调整，实现自然流畅的对话体验。
Dia2是由Nari Labs开发的流式对话文本转语音(TTS)模型，支持实时语音生成，无需完整文本即可开始生成音频，专为自然对话场景设计。
IbrahimSalah
这是一个基于300小时纯净阿拉伯语音频数据微调的文本转语音模型，专门为带完整元音符号的现代标准阿拉伯语提供高质量语音合成，支持声音克隆和长文本处理功能。
HIT-TMG
Uni-MoE 2.0-Omni 是荔枝科技（Lychee）推出的完全开源全模态模型，采用全模态 3D RoPE 和动态容量专家混合架构，显著提升了以语言为中心的多模态理解、推理和生成能力。该版本集成了全模态理解以及音频和图像生成能力。
labhamlet
WavJEPA是基于波形的联合嵌入预测架构的音频基础模型，利用高级语义表示学习解决语音单元或标记级表示学习的不足。在众多下游基准任务中显著优于最先进的时域音频基础模型，同时所需计算资源大幅减少。
dinhthuan
NeuTTS-Air越南语文本转语音模型是基于260多万条越南语音频样本，从NeuTTS-Air基础模型微调而来的高质量越南语语音合成模型。该模型能够实现自然流畅的越南语语音合成，支持语音克隆功能，并针对生产环境进行了优化。
thenexthub
这是一个支持多语言处理的多模态模型，涵盖自然语言处理、代码处理、音频处理等多个领域，能够实现自动语音识别、语音摘要、语音翻译、视觉问答等多种任务。
kenpath
Svara-TTS是一款面向印度语言的开源多语言文本转语音模型，支持19种语言（18种印度语言+印度英语）。该模型基于Orpheus风格的离散音频令牌方法构建，旨在普通GPU/CPU上实现清晰、富有表现力且低延迟的语音合成。
nineninesix
KaniTTS是一款专为实时对话式AI应用优化的高速、高保真文本转语音模型，采用两阶段管道结合大型语言模型和高效音频编解码器，实现卓越的速度和音频质量。该模型支持西班牙语，具有4亿参数，采样率为22kHz。
KaniTTS是一款专为实时对话式人工智能应用优化的高速、高保真阿拉伯语文本转语音模型。它采用两阶段流水线架构，结合大语言模型与高效音频编解码器，实现卓越的速度和音频质量，能够满足对话式AI、无障碍辅助、研究等多领域的语音合成需求。
KaniTTS是一款专为实时对话式AI应用优化的高速、高保真文本转语音模型，通过独特的两阶段架构结合大语言模型与高效音频编解码器，实现低延迟与高质量语音合成，实时因子低至0.2，比实时速度快5倍。
CypressYang
SongBloom是一款专注于文本转音频的生成模型，能够将文本转化为生动的音频内容，为用户带来全新的语音合成体验。
KaniTTS Pretrain v0.3是一款高速、高保真的文本转语音模型，专为实时对话式人工智能应用优化，采用两阶段管道架构，结合大语言模型和高效音频编解码器，实现极低延迟和高品质语音合成。
Akicou
Qwen3-Omni-30B-A3B-Thinking模型的Q4_K_S量化GGUF版本，支持文本、视觉和音频多模态处理，通过llama.cpp实现高效推理。该版本在保证质量的前提下显著减小文件大小，提升推理速度。
kalilouisangare
这是一个基于 OpenAI Whisper Small 模型微调的班巴拉语语音识别模型，在 24738 个班巴拉语音频样本上训练，能够将班巴拉语语音准确转录为文本，字符错误率低至 21.69%。
cpatonn
Qwen3-Omni-30B-A3B-Captioner是基于Qwen3-Omni-30B-A3B-Instruct微调得到的细粒度音频分析模型，专门为任意音频输入生成详细且低幻觉的描述，在复杂多样的音频场景中表现出色。
FabioSarracino
VibeVoice-Large-Q8是首个真正可用的8位VibeVoice模型，通过选择性量化技术在大幅减小模型尺寸的同时保持与原始模型相同的音频质量，适用于显存有限的场景。
KaniTTS是一款专为实时对话式AI应用优化的高速、高保真文本转语音模型。它采用两阶段流水线架构，结合大语言模型和高效音频编解码器，实现了卓越的速度和音频质量，支持多种语言并适用于边缘/服务器部署。
chetwinlow1
Ovi是一款先进的音频-视频生成模型，能够根据文本或文本+图像输入同时生成同步的视频和音频内容。该模型采用双骨干架构，支持5秒视频生成，为多媒体创作提供了强大的工具。
该项目通过Model Context Protocol（MCP）让大型语言模型直接理解和生成Max音频处理软件中的音效模块，支持解释、修改和创建音效模块，并提供与LLM的交互界面。
MCPollinations是一个基于Model Context Protocol（MCP）的多模态AI服务，支持通过Pollinations API生成图像、文本和音频。它提供无需认证的轻量级服务，兼容多种AI模型，并支持图像保存和Base64编码返回。
Pixeltable的多模态模型上下文协议服务器集合，提供音频、视频、图像和文档的索引与查询功能
一个基于MCP协议的视频音频文本提取服务器，支持从多平台下载视频并利用Whisper模型进行语音转文字处理
基于Faster Whisper的高性能语音识别MCP服务器，提供高效的音频转写能力，支持批量处理、多模型尺寸和多种输出格式。
REAPER MCP Server是一个全面的模型上下文协议服务器，使AI代理能够在REAPER中创建完全混音和母带处理的音轨，支持MIDI和音频功能。
MCP Server Whisper是一个基于OpenAI Whisper和GPT-4o模型的音频处理服务器，提供高级音频转录、格式转换、批量处理和文本转语音等功能，通过Model Context Protocol标准实现与AI助手的无缝交互。
MCP音频服务器是一个用于音频处理和和弦分析的模型上下文协议服务，提供音频解码、音乐分析（包括节奏、调性和和弦分析）等功能，支持RESTful API和容器化部署。
一个完整的Groq MCP服务器项目，作为智能桥梁连接应用与Groq API，支持多种AI模型（文本、音频、视觉、批处理），具备智能路由、速率限制、缓存优化等高级功能。
该项目为Pixeltable的多模态模型上下文协议服务器集合，提供音频、视频、图像和文档的索引与查询服务，支持Docker本地部署。
Radio France播客探索MCP服务是一个模型控制协议服务器，允许AI助手搜索和浏览Radio France的播客、音频回放等内容。提供基于主题的播客搜索、电台节目信息获取、分类内容浏览等功能。
ExotelMCP是一个模型上下文协议(MCP)服务器，提供Claude AI与Exotel通信API的无缝集成，支持短信、语音通话和快速音频工具服务。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
