阿里巴巴在千问AI平台全面上线Qwen-Audio-3.0系列语音模型,涵盖语音识别、语音合成和实时语音交互三款。官方称,该系列在权威评测平台Artificial Analysis今年7月语音排行榜中表现卓越,包揽语音识别、实时交互和语音合成三项第一。
英伟达发布首款开源端到端全双工语音对话模型NemotronLabs VoiceChat11B,用单一网络直接完成流式语音理解与生成,取代传统ASR、LLM、TTS分步架构,实现实时语音交互突破。
字节跳动Seed发布原生音视频全双工大模型SeedRealtime,采用统一架构融合音频、视频与文本,实现“边看边听边说”的实时交互,推进全模态自然交互。同时,国产大模型如DeepSeek等集中迭代升级,市场分析认为国产算力逻辑持续加强。
字节Seed团队推出SeedRealtime大模型,以统一架构原生融合音频、视频和文本,实现“边看边听边说”的全双工实时交互。该能力已在豆包App全量上线,率先规模化落地。相比传统级联方案“听-转写-想-说”的逐段拼接,其端到端设计消除了感知与表达的割裂。
Boson AI构建语音代理,提供语音到语音模型、实时头像和多语言TTS。
Spatius提供下一代AI头像基础设施,支持设备端渲染和低带宽实时交互。
Google Genie 4可免费将文本转化为720p、24 FPS的实时交互式3D世界
基于Google Genie 3技术,无需设计技能,实时将文本转化为逼真3D交互世界。
Xai
$1.4
输入tokens/百万
$3.5
输出tokens/百万
2k
上下文长度
Anthropic
$105
$525
200
$7
$35
Google
$2.1
$17.5
1k
$0.7
$2.8
Alibaba
$2
$20
-
$8
$240
52
$3.9
$15.2
64
Bytedance
$0.8
128
$0.15
$1.5
256
Baidu
$1.6
$4
$0.75
Openai
$0.35
400
Tencent
24
$16
$1.95
16
$12
$2.4
8
LiquidAI
LFM2-Audio-1.5B是Liquid AI推出的首个端到端音频基础模型,专为低延迟和实时对话设计。该模型仅15亿参数,能够实现无缝的对话交互,其能力可与参数规模大得多的模型相媲美。
maitrix-org
Voila是一个大型语音-语言基础模型家族,旨在提升人机交互体验,支持实时、低延迟的语音交互和多语言处理。
VITA-MLLM
VITA-1.5是一个多模态交互模型,旨在实现GPT-4o级别的实时视觉与语音交互能力。
wangyueqian
MMDuet是一个支持视频播放时实时交互的VideoLLM模型,专注于时间敏感的视频理解任务。
openbmb
OmniLMM-12B是基于EVA02-5B和Zephyr-7B-β构建的多模态大模型,通过感知器重采样层连接,采用渐进式课程学习策略训练,具有卓越性能、可信行为和实时多模态交互能力。
一个基于Express.js的MCP服务器,提供加密工具包括密钥对生成、共享密钥派生和消息加密/解密功能,支持SSE实时通信。
Alpaca MCP服务器是一个实现Alpaca交易API的模型上下文协议(MCP)服务,允许大型语言模型通过自然语言与Alpaca交易系统交互,支持股票/期权交易、投资组合管理和实时市场数据获取。
Unity MCP服务器是一个基于C#的模型上下文协议(MCP)服务,用于连接Unity编辑器与外部大型语言模型(LLM)或云端AI代理,实现实时自动化与智能交互。
Selector AI的MCP协议实现,提供实时交互的AI服务
一个包含MCP客户端插件的Godot 4示例项目,用于演示在游戏运行时通过Claude等AI工具实时查看、修改场景节点属性及调用方法,实现AI辅助调试与开发。
一个简单的MCP服务器,用于与Pure Storage存储阵列交互,实时获取FlashBlade阵列信息
Revit MCP服务器是一个基于TypeScript的桥梁服务,实现Claude AI与Autodesk Revit之间的实时模型数据交互
一个支持与Claude等LLM进行语音交互的MCP服务器,只需OpenAI API密钥和麦克风/扬声器即可实现实时语音对话。
该项目是一个基于Quarkus的Twitch聊天MCP服务器,通过整合Twitch聊天功能与MCP协议,为Claude等工具提供实时聊天交互服务。
Speech MCP是为Goose设计的语音交互扩展,提供实时语音识别、高质量文本转语音、多语言支持和现代化音频可视化界面,支持多角色对话生成和音频转录功能。
Dynatrace MCP服务器是一个远程服务,允许开发者与Dynatrace可观测性平台交互,将实时监控数据直接集成到开发工作流中,支持问题检测、日志查询、安全漏洞分析等功能。
一个用于监控Cursor AI编辑器中MCP交互的.NET控制台应用,提供实时日志分析、错误调试和协议交互可视化功能。
Bitbucket MCP服务器项目,为AI助手提供与Bitbucket实例的安全桥梁,实现代码仓库、拉取请求等数据的实时交互。
该项目是一个基于Python的MCP服务器,用于与Apache Pinot交互,支持实时分析、元数据查询,并能与Claude桌面应用集成。
Calva MCP Server是一个VS Code扩展,为Clojure/ClojureScript开发提供AI编程助手功能,通过连接REPL实现交互式编程,让AI能够实时执行和测试代码。
一个用于通过远程Python执行与Unreal Engine实例交互的服务器实现,支持节点管理、远程代码执行和实时监控。
Speech MCP 是一个为Goose设计的语音交互扩展,提供实时语音识别、文本转语音和音频可视化功能。
一个基于Python的Solana区块链模型上下文协议服务器,提供实时数据处理、模型交互接口及RESTful API,支持Docker部署。
基于ableton-js的MCP服务器,用于实时交互和控制Ableton Live,辅助音乐制作人进行音乐创作。
Pinax开发的MCP客户端工具,用于连接兼容MCP协议的服务,提供基于SSE的实时数据交互功能,需通过thegraph.market平台获取访问令牌进行认证。