fixie-ai/ultravox-v0_4_1-llama-3_1-70b ist ein großes Sprachmodell, das auf dem vorab trainierten Llama 3.1-70B-Instruct und whisper-large-v3-turbo basiert und sowohl Sprach- als auch Texteingaben verarbeiten und Textausgaben generieren kann. Das Modell konvertiert eingehende Audiodaten über ein spezielles Pseudo-Token <|audio|> in Einbettungen, die mit Textaufforderungen kombiniert werden, um einen Textausgabe zu generieren. Ultravox wurde entwickelt, um die Anwendungsszenarien für Spracherkennung und Textgenerierung zu erweitern, z. B. Sprachassistenten, Sprach-zu-Sprach-Übersetzung und die Analyse von gesprochenem Audio. Das Modell steht unter der MIT-Lizenz und wurde von Fixie.ai entwickelt.