OpenAI推出三款實時語音模型:GPT‑Realtime‑2具備GPT‑5級推理能力,支持複雜請求和自然對話;GPT‑Realtime‑Translate專注實時翻譯;GPT‑Realtime‑Whisper側重語音識別。這些模型爲開發者提供不同場景的語音應用解決方案。
Speechify發佈原生Windows客戶端,從文本轉語音工具升級爲全棧語音助手。應用集成三類本地AI模型,支持跨應用實時聽寫與文檔轉錄,對標Superwhisper等競品。爲保障響應速度與隱私,在Copilot+ PC等高性能設備上支持完全本地化運行,用戶無需上傳音頻至雲端,即可利用本地NPU或GPU驅動的Whisper模型。
vLLM團隊推出首個“全模態”推理框架vLLM-Omni,將文本、圖像、音頻、視頻的統一生成從概念驗證變爲可落地的代碼。該框架採用解耦流水線架構,包括模態編碼器(如ViT、Whisper)、LLM核心(沿用vLLM自迴歸引擎)和模態生成器(如DiT、Stable Diffusion),支持多模態輸入與輸出。開發者可通過GitHub和ReadTheDocs獲取,並立即pip安裝使用。
微軟安全團隊發現“Whisper Leak”隱私漏洞,通過分析加密網絡流量的數據包大小、時序等元數據,無需破解加密協議即可推斷用戶與AI的對話主題,威脅現代聊天服務隱私安全。
RunInfra優化開源模型用於生產,提供可導出的部署堆棧和API。
Windows本地AI聽寫,可在任意應用說話輸入,一次付費29美元無訂閱
免費的Whisper AI,先進的音頻轉文本工具,支持100+語言,永久免費。
專為Mac用戶打造的轉錄應用,支持多種文件,準確快速,可本地或雲端處理。
ycngin2024
這是一個經過微調的Whisper語音識別模型,基於unsloth/whisper-large-v3-turbo架構,使用Unsloth和Huggingface TRL庫實現了2倍訓練加速,顯著提升了訓練效率。
adoamesh
本模型是基於OpenAI Whisper-small模型針對斯瓦希里語進行微調的自動語音識別模型。在FLEURS-SLU數據集的斯瓦希里語部分進行訓練,顯著提升了斯瓦希里語的轉錄準確率,單詞錯誤率相比基礎模型降低了68%。
TheStageAI
TheWhisper-Large-V3-Turbo 是 OpenAI Whisper Large V3 模型的高性能微調版本,由 TheStage AI 針對多平臺即時、低延遲和低功耗語音轉文本推理進行優化。支持流式轉錄、單詞時間戳和可擴展性能,適用於即時字幕、會議和設備端語音界面等場景。
TheWhisper-Large-V3是OpenAI Whisper Large V3模型的高性能微調版本,由TheStage AI針對多平臺(NVIDIA GPU和Apple Silicon)的即時、低延遲和低功耗語音轉文本推理進行了優化。
MERaLiON
MERaLiON-SER-v1 是一個參數高效的多語言語音情感識別模型,能夠同時預測7種離散情感類別和連續的情感維度值。該模型基於Whisper-Medium編碼器構建,採用LoRA自適應技術,在多語言語音情感識別任務中表現出色。
teckedd
本模型是基於OpenAI Whisper-small在Common Voice 17.0數據集上微調的自動語音識別模型,專門針對Twi語言進行優化,能夠實現語音內容的準確識別。
kalilouisangare
這是一個基於 OpenAI Whisper Small 模型微調的班巴拉語語音識別模型,在 24738 個班巴拉語音頻樣本上訓練,能夠將班巴拉語語音準確轉錄為文本,字符錯誤率低至 21.69%。
Ken-Z
本模型是基於OpenAI Whisper-small在拉丁語上微調的自動語音識別模型,使用67小時拉丁語音頻數據訓練,字符錯誤率(CER)為20,支持拉丁語語音轉文本任務。
ReportAId
MedWhisper Large ITA是基於OpenAI Whisper Large v3 Turbo的領域適配變體,專門針對意大利語醫療語音識別進行了優化。該模型在精心挑選的意大利語門診專科就診錄音集上使用LoRA技術進行微調,顯著提升了醫學術語和臨床表達的識別準確率。
feelmadrain
這是一個基於OpenAI Whisper Small架構的俄語自動語音識別模型,在Common Voice 17.0數據集上進行了專門訓練,能夠準確地將俄語語音轉換為文本。
openchs
基於OpenAI Whisper Large v2在Common Voice 17.0斯瓦希里語數據集上微調的語音識別模型,專為坦桑尼亞兒童求助熱線的斯瓦希里語語音識別任務設計,相比基礎模型在斯瓦希里語識別準確率上有顯著提升。
BUT-FIT
SE-DiCoW是由BUT Speech@FIT聯合JHU CLSP/HLTCOE和CMU LTI開發的目標說話人多說話人自動語音識別模型。該模型基於Whisper large-v3-turbo,通過自注冊機制和改進的數據增強技術,在高度重疊的多說話人場景下顯著提升了識別準確率。
jacktol
基於OpenAI Whisper Large v3模型微調的航空交通管制語音識別模型,專門針對ATC通信場景優化,在測試集上實現了6.5%的字錯誤率,顯著提升了航空通信轉錄的準確性。
tiantiaf
基於openai/whisper-small優化的印度多語言分類模型,支持23種印度地區語言的精準識別,為語言識別領域提供高效解決方案。
基於Whisper-small架構的語音方言分類模型,專門用於識別8種中國方言變體,包括江淮方言、膠遼官話、冀魯官話、蘭銀官話、普通話、西南官話、中原官話和粵語。該模型在Common Voice 11.0數據集上訓練,具有重要的語音識別價值。
基於Whisper-small的英語方言分類模型,能夠準確識別16種不同的英語方言,為語音處理和語言研究提供支持。
NexaAI
基於OpenAI Whisper架構微調的自動語音識別和語音翻譯模型,通過減少解碼層數量實現顯著速度提升,同時保持接近原版的識別質量。
kimthegarden
基於Whisper-small架構微調的韓語自動語音識別模型,在韓語語音識別任務上表現出色。
syvai
Hviske v3 是丹麥領先的最先進轉錄模型,專門針對自然對話場景進行微調,在會議、訪談、播客等場景中具有極高的準確性,超越了包括OpenAI Whisper在內的其他模型。
Habib-HF
針對《古蘭經》阿拉伯語誦讀微調的 Whisper Small 模型,能夠準確識別並轉錄《古蘭經》誦讀內容。
該項目擴展了視頻語音識別功能,從僅支持本地Whisper模型,新增支持簡影和B站剪輯的在線語音識別服務,提供了靈活的多服務選擇架構。
一個基於OpenAI API的音頻轉文字MCP服務器,提供音頻轉錄功能並支持多種配置選項。
一個基於MLX Whisper的音頻轉錄MCP服務,支持本地文件、Base64音頻和YouTube視頻轉錄,專為蘋果M系列芯片優化。
一個基於MCP協議的視頻音頻文本提取服務器,支持從多平臺下載視頻並利用Whisper模型進行語音轉文字處理
一個基於Whisper模型的語音錄製和轉錄MCP服務器,可作為Goose AI擴展或獨立運行,支持多種錄音場景和模型配置。
一個基於Whisper模型的語音錄製和轉錄MCP服務器,可作為Goose AI擴展或獨立服務運行。
Speech MCP 是一個為Goose設計的語音交互擴展,提供即時語音識別、文本轉語音和音頻可視化功能。
基於Faster Whisper的高性能語音識別MCP服務器,提供高效的音頻轉寫能力,支持批量處理、多模型尺寸和多種輸出格式。
一個基於whisper.cpp的本地音頻轉錄MCP服務器,支持多種模型和音頻格式,可與蘋果語音備忘錄MCP配合實現完整語音工作流。
Office Whisperer v4.0 是一個基於AI的微軟Office套件自動化工具集,通過自然語言接口提供143個專業工具,實現Excel、Word、PowerPoint和Outlook的全面自動化操作。
MCP Server Whisper是一個基於OpenAI Whisper和GPT-4o模型的音頻處理服務器,提供高級音頻轉錄、格式轉換、批量處理和文本轉語音等功能,通過Model Context Protocol標準實現與AI助手的無縫交互。
ASR MCP服務器是一個基於whisper引擎的自動語音識別服務,通過MCP工具提供語音合成功能,便於應用集成。
經典的編程入門示例