微软推出实时文本转语音模型VibeVoice-Realtime-0.5B,仅0.5B参数即可实现接近实时的语音生成,最快300毫秒内开始发声,支持中英文实时转录与语音生成,中文表现略逊于英文,但整体流畅度和还原度高,音质自然。
快手旗下可灵AI推出首个“音画同出”模型可灵2.6,能同时生成画面、语音、音效和环境氛围,打通音画世界。该模型提供“文生音画”和“图生音画”两种创作路径,用户可通过一句话或图片快速生成完整视频,提升创作体验。
复旦大学MOSS团队发布MOSS-Speech,首次实现端到端语音对话,模型已在Hugging Face上线并开源。采用“层拆分”架构,冻结原文本模型,新增语音理解、语义对齐和声码器层,可一次性完成语音问答、情绪模仿和笑声生成,无需传统三段式流程。评测显示,在ZeroSpeech2025任务中词错率降至4.1%,情感识别准确率达91.2%。
Maya Research推出Maya1文本转语音模型,30亿参数,可在单GPU实时运行。模型通过自然语言描述和文本输入,生成可控且富有表现力的语音,精准模拟人类情感与声音细节,如指定年龄、口音或角色特征。
CSM 1B 是一个由 Sesame 开发的文本到语音生成模型,可生成高质量的音频。
一个用于生成对话式语音的模型,支持从文本和音频输入生成高质量的语音。
Octave TTS 是首个能够理解文本含义的语音合成模型,能够生成富有情感和风格的语音。
Zonos-v0.1 是一个领先的开放权重文本到语音模型,能够生成高质量的多语言语音。
Openai
$2.8
Input tokens/M
$11.2
Output tokens/M
1k
Context Length
Google
$0.49
$2.1
Xai
$1.4
$3.5
2k
$7.7
$30.8
200
-
Anthropic
$105
$525
$0.7
$7
$35
$17.5
$21
Alibaba
$4
$16
$1
$10
256
$6
$24
$2
$20
Baidu
128
nari-labs
Dia2是由Nari Labs开发的流式对话文本转语音(TTS)模型,支持实时语音生成,无需完整文本即可开始生成音频,能够根据对话上下文进行调整,实现自然流畅的对话体验。
Dia2是由Nari Labs开发的流式对话文本转语音(TTS)模型,支持实时语音生成,无需完整文本即可开始生成音频,专为自然对话场景设计。
OpenMOSS-Team
MOSS-TTSD是一个开源的双语口语对话合成模型,支持中文和英文,能够将两人对话脚本转化为自然、富有表现力的对话语音,支持语音克隆且单轮语音生成时长最长可达1700秒。
pnnbao-ump
VieNeu-TTS是首个可在个人设备上运行的越南语文本转语音模型,具备即时语音克隆能力。基于NeuTTS Air微调,能够生成自然逼真的越南语语音,在CPU上具备实时性能。
CypressYang
SongBloom是一款专注于文本转音频的生成模型,能够将文本转化为生动的音频内容,为用户带来全新的语音合成体验。
inclusionAI
Ming-flash-omni 预览版是基于 Ling-Flash-2.0 稀疏专家混合(MoE)架构构建的多模态大模型,总参数达100B,每个token仅激活6B参数。该模型在Ming-Omni基础上进行了全面升级,在多模态理解和生成方面有显著提升,特别是在语音识别、图像生成和分割编辑方面表现突出。
malaysia-ai
基于Qwen/Qwen3-1.7B-Base进行继续预训练的多语言语音转换和文本转语音模型,支持多语言、多说话人的语音生成和转换功能。
铭音通是一个创新的统一语音框架,将语音理解、生成和编辑功能整合为一体。它采用统一的连续语音分词器,能在端到端模型中有效融合语义和声学特征,是首个仅通过自然语言指令就能实现通用、自由形式语音编辑的系统。
nineninesix
KaniTTS是一款高速、高保真的文本转语音模型,专为实时对话式人工智能应用而优化。该模型采用两阶段处理流程,结合大语言模型和高效音频编解码器,在Nvidia RTX 5080上生成15秒音频的延迟仅需约1秒,MOS自然度评分达4.3/5,支持英语、中文、日语等多种语言。
neuphonic
NeuTTS Air是全球首个具有即时语音克隆功能的超逼真设备端文本转语音模型,基于0.5B参数的大语言模型骨干构建,能在本地设备上实现自然语音生成、实时性能和说话人克隆功能。
KrauthammerLab
CAST 0.7B 是基于0.7B参数Gemma3风格语言模型构建的语音转语音语言模型,能够生成自然的语音音频延续内容。该模型依赖于CAST WavTokenizer进行编码/解码操作,专门用于语音生成任务。
gguf-org
vibevoice-gguf 是一个基于 Microsoft VibeVoice-1.5B 模型的文本转语音系统,通过 gguf-connector 运行,能够将文本转换为自然语音,支持语音克隆和多说话人语音生成。
mispeech
MiDashengLM-7B-0804是小米发布的7B参数多模态语音语言模型,支持音频理解和文本生成任务,适用于通用场景的推理和微调。
stepfun-ai
Step-Audio 2 是一款端到端的多模态大语言模型,专为满足行业级音频理解和语音对话需求而设计。具备先进的语音和音频理解能力、智能语音对话功能、工具调用和多模态检索增强生成能力,在多个音频理解和对话基准测试中取得了领先的性能。
minpeter
这是Voxtral-Mini-3B-2507的一个特定版本,移除了语音识别功能,仅保留纯语言模型功能。该模型与尚未发布的Ministral-3B-Instruct模型类似,专注于文本生成任务。
calcuis
Higgs的GGUF量化版本是基于bosonai基础模型的文本转语音合成模型,支持多种语言的语音生成,具有高效的推理性能和便捷的本地部署能力。
snorbyte
snorTTS-Indic-v0 是一个多语言印度语语音合成(TTS)模型,能够生成九种印度语言的语音。
unsloth
Orpheus TTS 是一款基于 Llama 的先进语音大语言模型(Speech-LLM),专为生成高质量、富有情感的语音而设计。
akhbar
这是一个专门针对挪威语优化的高质量文本转语音模型,基于Chatterbox架构开发,支持挪威语的两种主要变体(书面挪威语和新挪威语)以及多种方言,能够生成自然流畅、富有情感表现力的语音。
NexaAI
Qwen2.5-Omni-3B-GGUF 是一个端到端的多模态模型,能够感知文本、图像、音频和视频等多种模态信息,同时以流式方式生成文本和自然语音响应。
MiniMax官方模型上下文协议(MCP)服务器,支持文本转语音、视频/图像生成等API交互。
mcp-hfspace是一个连接Hugging Face Spaces的MCP服务器,支持图像生成、语音处理、视觉模型等多种AI功能,简化了与Claude Desktop的集成。
一个基于Chatterbox TTS模型的简化MCP服务器,提供文本转语音生成及自动播放功能,支持实时进度通知和自动模型加载。
MiniMax MCP JS是一个JavaScript/TypeScript实现的MiniMax模型上下文协议工具包,提供文本转语音、图像生成、视频生成和语音克隆等功能,支持多种配置方式和传输模式。
Groq MCP Server是一个通过Model Context Protocol(MCP)提供快速模型推理的服务,支持文本生成、语音转换、图像分析和批量处理等多种功能。
MCP-hfspace是一个简化连接Hugging Face Spaces的服务器工具,支持图像生成、语音处理、视觉模型等多种AI功能,与Claude Desktop无缝集成。