JoyHallo est un modèle de personnage numérique conçu spécifiquement pour la génération de vidéos en mandarin standard. Il a été créé à partir du jeu de données jdh-Hallo, constitué de 29 heures de vidéos en mandarin standard collectées auprès des employés de JD.com Santé International. Ce jeu de données couvre différents âges et styles de parole, incluant des conversations et des sujets médicaux professionnels. Le modèle JoyHallo utilise le modèle chinois wav2vec2 pour l'intégration des caractéristiques audio, et propose une architecture semi-découplée pour capturer les relations entre les caractéristiques des lèvres, des expressions et de la posture, améliorant ainsi l'efficacité de l'utilisation de l'information et accélérant la vitesse d'inférence de 14,3 %. De plus, JoyHallo excelle également dans la génération de vidéos en anglais, démontrant une remarquable capacité de génération multilingue.