Fish Audioは、その非常に自然な音声、豊富なトーン制御、そして強力なインストラクション追従能力を持つ最新世代の音声生成モデルであるOpenAudio S1を正式にリリースしました。専門的な声優と同等の表現力と自然さを持つと称され、TTS-Arenaランキングで第1位となり、音声テキスト変換（TTS）分野における新しい基準となっています。AIbaseでは、OpenAudio S1の革新的な機能と潜在的な影響について詳しく解説します。
OpenAudio S1: AI音声生成体験の再定義
OpenAudio S1は、Fish AudioがFish Speechシリーズに基づいて行った全面的なアップデートであり、先進的なアーキテクチャ設計と大規模なトレーニングデータによって、これまでにない音声の自然さと表現力を達成しています。その主な特徴には以下が含まれます:
非常に自然な音声: 生成された音声はスムーズでリアルであり、人間の声優とほぼ同じです。プロフェッショナルなシナリオでの使用に適しており、ビデオのナレーション、ポッドキャスト、ゲームキャラクターの声などに最適です。
豊富なトーン制御: 50種類以上の感情やトーンマークをサポートしており、「怒り」、「喜び」、「悲しみ」、「ささやき」、「共感」など、ユーザーは自然な言語指示を使って音声の表現を柔軟に調整できます。
強力なインストラクション追従能力: 簡単なテキスト指示を通じて、ユーザーは音声のスピード、ボリューム、間や笑い声などの細部をコントロールでき、個性的な音声出力を実現します。
200万時間以上の音声トレーニングデータのおかげで、OpenAudio S1は音声生成の質と多様性において顕著な進歩を遂げており、英語、中国語、日本語、韓国語、フランス語、ドイツ語、アラビア語、スペイン語を含む13の言語に対応し、強力なマルチリンガル能力を示しています。
動画は公式から提供されています、翻訳：小互
TTS-Arena第1位: プロフェッショナルな認証
最新のTTS-Arena評価では、OpenAudio S1は「Anonymous Sparkle」としてトップに立ち、多くのオープンソースおよび専有モデルを打ち負かしました。TTS-Arenaはユーザー投票を通じて異なるTTSモデルの自然さと表現力を比較しますが、OpenAudio S1はそのリアルな音声品質と繊細な感情表現により広範な承認を得ました。
さらに、OpenAudio S1はSeed TTS評価でも優れたパフォーマンスを発揮し、英語の単語誤り率（WER）は0.008、文字誤り率（CER）は0.004と、伝統的なモデルを大幅に上回り、音声精度のリーダーシップを証明しました。
技術的ハイライト: Dual-ARアーキテクチャとRLHFトレーニング
革新的なDual-ARアーキテクチャ
OpenAudio S1は独特のダブル自己回帰（Dual-AR）アーキテクチャを使用しており、高速および遅速トランスフォーマーモジュールを組み合わせることで、音声生成の安定性と効率を最適化しています。このアーキテクチャは、グループ限定スカラーベクトル量子化（GFSQ）技術を使用してコードブック処理能力を向上させ、高品質な音声出力を確保しながら計算コストを削減します。
RLHF駆動の感情表現
OpenAudio S1はオンライン**強化学習と人間からのフィードバック（RLHF）**技術を通じて、感情表現能力を著しく強化しました。従来のTTSモデルと比べて、S1は音色やトーンをより正確に捉え、生成された感情表現がさらに自然になります。たとえば、ユーザーは「興奮」、「緊張」、「喜び」などのマーカーを使って繊細な感情制御を行い、広範なニーズに対応できます。
実際の用途: クリエイティブからビジネスまで無限の可能性
OpenAudio S1の多機能と高性能は、複数の分野で大きな可能性を示しています:
コンテンツ制作: 動画、ポッドキャスト、オーディオブックにプロフェッショナルなナレーションを生成し、生産性を大幅に向上させます。
仮想アシスタント: 多言語対応の個別化された音声ナビゲーションやカスタマーサポートシステムを構築します。
ゲームとエンターテイメント: ゲームキャラクターにリアリストな対話やナレーションを生成し、没入型体験を強化します。
教育とアクセス: 盲人ユーザー向けに高品質のテキスト-to-音声サービスを提供したり、教育プラットフォームで多言語学習コンテンツを生成します。
音声クローンの利便性
OpenAudio S1はゼロサンプルや少数サンプルでの音声クローンをサポートしており、わずか10〜30秒の音声サンプルで高品質なクローン音声を生成できます。このプロセスは簡素で、約1分以内で完了します。この機能は、迅速に個別化された音声を必要とするシナリオ、例えばカスタマイズされたナレーターや有名人の音声シミュレーションに特に適しています。
オープンソースと商用利用の並存: 選択肢の多様性
OpenAudio S1には、**S1（4Bパラメーター、専有モデル）**と**S1-mini（0.5Bパラメーター、オープンソースモデル）**の2つのバージョンが用意されており、さまざまなユーザーニーズに対応しています。S1-miniは完全にオープンソースであり、開発者はGitHubで自由にアクセスしカスタマイズ可能です。研究や教育シーンに最適ですが、一方でS1はクラウドサービスを通じて高性能なサポートを提供し、手頃な価格設定でコストを抑えることができます。
ユーザーのフィードバックによると、OpenAudio S1は音声のリアルさと感情表現の細やかさにおいて競合製品を上回り、特にマルチリンガル対応と生産性において目覚ましい成果を示しています。クラウド処理速度も非常に速く、平均20秒で高品質な音声を生成でき、大量処理にも対応可能です。
将来の展望: 新時代の音声インタラクション
Fish Audioは、OpenAudio S1のリリースを始まりにすぎないと述べています。将来、チームはリアルタイム音声インタラクション機能を導入し、音声ライブラリキャラクターとのスムーズな対話を実現する予定です。さらに、トレーニングデータの拡張とRLHFの最適化を通じて、より多くの言語と複雑な感情表現をサポートし、TTS分野でのリーダーシップを固めることを目指します。
AIbaseは、OpenAudio S1のリリースがAI音声技術がプロフェッショナルかつ普及に向けて重要な転機を迎えたことを示していると述べています。その強力なマルチリンガル対応と感情制御能力は、開発者に革新の余地を与え、一般ユーザーにはより自然な音声インタラクション体験をもたらします。リアルタイムインタラクション機能が近づけば、OpenAudio S1は仮想アシスタント、コンテンツ制作、ゲーム産業の音声アプリケーションのあり方を再定義するでしょう。