Le groupe Kunlun Wanzhi a annoncé le lancement de son dernier résultat technologique, le modèle SkyReels-A3, un outil de création d'avatar numérique alimenté par le son basé sur le modèle de diffusion vidéo DiT (Diffusion Transformer). Le lancement du modèle SkyReels-A3 marque une avancée majeure dans le domaine de la création de contenus numériques. Il permet la création d'avatars numériques à modèles complets pour n'importe quelle durée, offrant aux utilisateurs une expérience nouvelle.
La fonction principale du modèle SkyReels-A3 est de donner vie à des images ou vidéos statiques en les rendant dynamiques. En téléchargeant une image de visage et une voix correspondante, vous pouvez faire parler ou chanter la personne présente sur l'image selon le contenu de la voix. De plus, le modèle permet également la création de nouveaux contenus vidéo. Les utilisateurs n'ont qu'à fournir une image de visage, une voix et un prompt textuel pour générer une vidéo où la personne interprète selon les exigences. Le modèle SkyReels-A3 peut également modifier les dialogues des vidéos existantes, en ajustant automatiquement les expressions faciales, les mouvements de bouche et les performances, tout en maintenant la cohérence visuelle.
Ce modèle a été optimisé et amélioré en termes de saisie de mots-clés textuels, de naturel des interactions, de contrôle des plans et de la durée de sortie des vidéos. Le modèle SkyReels-A3 supporte la sortie de vidéos de 60 secondes en un seul plan, et il permet une sortie de plusieurs plans sans limite de durée, répondant ainsi à divers besoins créatifs. Kunlun Wanzhi a également effectué des optimisations spécifiques pour des scénarios d'application réels tels que les diffusions en direct en ligne, améliorant ainsi la cohérence des vidéos générées et la nature et la clarté des actions interactives spécifiques.
Le lancement du modèle SkyReels-A3 offre non seulement un soutien technique puissant pour des applications commerciales telles que la publicité ou le commerce en direct, mais aussi plus de possibilités pour des créations artistiques telles que des clips musicaux, des extraits de films ou des vidéos de discours. Grâce à l'introduction d'un module de contrôle des plans basé sur la structure ControlNet, Kunlun Wanzhi a réalisé un contrôle précis au niveau de la frame. Huit paramètres courants de contrôle des plans sont prédéfinis, et les utilisateurs peuvent choisir les plans correspondants selon leurs besoins. L'intensité de chaque plan peut être réglée continuellement de 0 à 100 %, générant ainsi des effets de plans professionnels.
Le lancement du modèle SkyReels-A3 prévoit une création de contenus numériques plus efficace et plus facile. Le groupe Kunlun Wanzhi fournit ainsi des solutions techniques d'IA à faible seuil, à coût réduit et à haute fidélité pour des domaines tels que la production de films, les diffusions en direct virtuelles, le développement de jeux et la création de contenus éducatifs. Le lancement du SkyReels-A3 représente la possibilité de transformer le son en image, offrant une efficacité et une commodité sans précédent pour la création de contenus personnalisés et interactifs. Peut-être que la prochaine vidéo virale sera inspirée par votre idée.
Page d'accueil du projet SkyReels-A3 :
https://skyworkai.github.io/skyreels-a3.github.io/
Adresse du site officiel de SkyReels :
https://www.skyreels.ai/home
Adresse des modèles open source de la série SkyReels :
https://huggingface.co/Skywork
