WavJEPAは波形ベースの結合埋め込み予測アーキテクチャに基づく音声基礎モデルで、高度な意味表現学習を利用して音声単位またはタグレベルの表現学習の不足を解決します。多くの下流のベンチマークタスクで、最先端の時間領域音声基礎モデルを大幅に上回り、同時に必要な計算リソースを大幅に削減します。

音声処理Transformers

SE-DiCoWは、BUT Speech@FITがJHU CLSP/HLTCOEおよびCMU LTIと共同開発した、ターゲット話者の多話者自動音声認識モデルです。このモデルはWhisper large-v3-turboをベースに、自己登録メカニズムと改良されたデータ拡張技術により、高度に重畳した多話者シナリオでの認識精度を大幅に向上させています。

音声処理Transformersその他

Step-Audio 2は、業界レベルの音声理解と音声対話のニーズを満たすために設計されたエンドツーエンドのマルチモーダル大規模言語モデルです。高度な音声と音声理解能力、スマート音声対話機能、ツール呼び出しおよびマルチモーダル検索強化生成能力を備え、複数の音声理解と対話のベンチマークテストでトップクラスの性能を発揮しています。

マルチモーダルTransformers

Marvisは、リアルタイムストリーミングテキストを音声合成するために設計された高度な対話式音声モデルです。効率性と使いやすさを重視し、Appleチップ、iPhone、iPad、Macなどの消費者向けデバイスでの高品質なリアルタイム音声合成をサポートします。

音声処理Transformers英語

Voxtral MiniはMinistral 3Bをベースにした拡張版で、高度な音声入力機能を備え、音声文字起こし、翻訳、音声理解などの分野で優れた性能を発揮します。

マルチモーダルTransformers多言語

Orpheus TTSは、Llamaをベースとした高度な音声大規模言語モデル（Speech - LLM）で、高品質で感情豊かな音声生成を目的として設計されています。

音声処理Transformers英語

Orpheus TTSは、Llamaをベースとした高度な音声大規模言語モデルで、高品質で感情豊かなテキスト読み上げ機能を実現するために設計されています。

音声処理Transformersその他

Breeze ASR 25は、Whisper-large-v2を微調整した高度な自動音声認識モデルで、台湾普通話と普通話 - 英語のコード切り替えシナリオの認識能力を特別に最適化しています。

音声処理Safetensors多言語

Diaは16億パラメータのオープンソーステキスト音声変換モデルで、高度にリアルな対話や非言語表現の生成をサポート

音声処理Safetensors多言語

DiaはNari Labsが開発した16億パラメータのテキスト音声合成モデルで、テキストから高度にリアルな対話を直接生成でき、感情やイントネーションの調整および非言語表現の生成をサポートします。

DiaはNari Labsが開発した16億パラメータのテキスト音声合成モデルで、テキストから高度にリアルな対話を直接生成でき、感情やイントネーションの制御をサポートし、非言語コミュニケーション内容も生成可能です。

音声処理Safetensors英語

CiSiMiはリソース制約環境向けに設計された初期のテキスト音声変換モデルプロトタイプで、CPU上で効率的に動作し、高度な音声合成を実現します。

音声処理Gguf英語

CrisperWhisperはOpenAI Whisperの高度なバリアントで、迅速かつ正確な逐語的な音声認識のために設計されており、正確（明確）な単語レベルのタイムスタンプを提供します。

音声処理Transformers多言語

VITSアーキテクチャに基づく高度なアラビア語テキスト音声変換システムで、自然でリアルな音声を生成し、口語的なテキストを理解できます

音声処理Transformersアラビア語

MERT-v1-330MはMLMパラダイムに基づいて訓練された高度な音楽理解モデルで、330Mのパラメータ規模を持ち、24K Hzの音声サンプリングレートをサポートし、様々な音楽情報検索タスクに適しています。

音声処理Transformers

OpenAIが開発したWhisper Large v2は、高度な自動音声認識モデルです。大規模な多言語および多タスクデータを基に訓練され、音声を正確にテキストに変換することができます。このモデルは、複数の評価データセットで優れた性能を発揮し、複数の言語の音声認識タスクをサポートしています。

音声処理Transformers