Die Kunlun Wanyu-Gruppe hat ihre neueste Technologie, das SkyReels-A3-Modell, vorgestellt. Es handelt sich um ein Audio-gesteuertes Digital-Idol-Kreativwerkzeug, das auf dem DiT (Diffusion Transformer)-Video-Diffusionsmodell basiert. Die Veröffentlichung von SkyReels-A3 markiert einen großen Fortschritt im Bereich der digitalen Inhaltsproduktion. Es ermöglicht die Erstellung von Audio-gesteuerten Digital-Idolen mit beliebiger Länge und bietet den Nutzern ein völlig neues Erlebnis.
Das Kernfeature des SkyReels-A3-Modells besteht darin, statische Bilder oder Videos „lebendig“ zu machen. Durch Hochladen von Porträtfotos und entsprechender Sprachaufnahme kann die Person in dem Bild sprechen oder singen, entsprechend dem Inhalt der Sprache. Darüber hinaus unterstützt das Modell auch die Erstellung neuer Videoinhalte. Der Nutzer muss lediglich ein Porträtfoto, eine Sprachaufnahme und Textanweisungen bereitstellen, um ein Video zu generieren, das entsprechend den Anforderungen performt. SkyReels-A3 kann zudem bestehende Videos „umdrehen“, indem es automatisch neue Lippenbewegungen, Gesichtsausdrücke und Darstellungen anpasst und so die Konsistenz des Bildes bewahrt.
Dieses Modell wurde in Bezug auf Eingabe von Textanweisungen, Natürlichkeit der Bewegungsinteraktion, Steuerung der Kamerafahrten sowie Länge der Videobereitstellung optimiert und verbessert. SkyReels-A3 unterstützt die Ausgabe von Einzelbildern bis zu 60 Sekunden Länge und ermöglicht bei mehreren Szenen unendliche Längen, um verschiedenen kreativen Bedürfnissen gerecht zu werden. Die Kunlun Wanyu hat außerdem spezielle Optimierungen für praktische Anwendungsfälle wie Online-Streams durchgeführt, wodurch die Konsistenz der Videoerzeugung und die Natürlichkeit sowie Klarheit bestimmter Interaktionsbewegungen erhöht wurden.
Die Einführung von SkyReels-A3 bietet nicht nur starke technische Unterstützung für kommerzielle Anwendungen wie Werbung und Live-Streaming-Verkäufe, sondern auch mehr Möglichkeiten für künstlerische Arbeiten wie Musik-MVs, Filmsequenzen oder Redevideos. Durch die Einführung eines Kamerasteuerungsmoduls auf Basis der ControlNet-Struktur hat Kunlun Wanyu eine präzise Steuerung auf Ebene der Einzelbilder erreicht. Es sind acht häufige Kamerafahrten vordefiniert, und der Nutzer kann je nach Bedarf die entsprechende Kamerafahrt auswählen. Zudem kann die Stärke jeder Kamerafahrt kontinuierlich zwischen 0 % und 100 % eingestellt werden, um professionelle Kameraeffekte zu erzeugen.
Die Veröffentlichung des SkyReels-A3-Modells deutet darauf hin, dass die digitale Inhaltsproduktion effizienter und einfacher wird. Die Kunlun Wanyu-Gruppe bietet durch diese innovative Technologie Lösungen mit niedrigen Hürden, geringen Kosten und hoher Qualität für Bereiche wie Filmproduktion, virtuelle Live-Streams, Spielentwicklung und Bildungsinhalte. Die Einführung von SkyReels-A3 steht für die Möglichkeit, dass Stimmen Bild werden können und bietet eine bisher unerreichte Effizienz und Einfachheit für die Erstellung personalisierter und interaktiver Inhalte. Vielleicht ist der nächste viral verbreitete Trendvideo genau Ihre Idee.
SkyReels-A3 Projektseite:
https://skyworkai.github.io/skyreels-a3.github.io/
SkyReels Offizielle Website:
https://www.skyreels.ai/home
Open-Source-Modelle der SkyReels-Reihe:
https://huggingface.co/Skywork
