Der führende Anbieter im Bereich KI-Videoerstellung in China, Vidu, hat kürzlich angekündigt, dass sein Q1-Modell eine große Verbesserung erfahren hat und eine neue Funktion namens „Referenz zu Video“ (Reference-to-Video) eingeführt hat. Diese Funktion ermöglicht es Benutzern, bis zu sieben Referenzbilder hochzuladen, um Videos mit sehr hoher visueller Konsistenz im 1080p-Format zu erstellen. Diese Funktion überwindet die Schwierigkeiten bei der Konsistenz von mehreren Szenen und mehreren Objekten, die traditionelle KI-Videoerstellung oft aufweist, und bietet Kreativen eine bisher unerreichte Flexibilität und Freiheit bei der Gestaltung.
Referenz zu Video: Sieben Bilder für komplexe Erzählungen
Die „Referenz zu Video“-Funktion von Vidu Q1 ist der Hauptvorteil dieser Aktualisierung. Benutzer können bis zu sieben Referenzbilder hochladen, einschließlich Elemente wie Personen, Szenen oder Gegenstände, und diese mit Texthinweisen kombinieren, um hochwertige Videos zu erstellen. Vidu Q1 sorgt durch fortschrittliche semantische Fusionstechnik dafür, dass die Elemente aus mehreren Bildern im Video stark konsistent bleiben und vermeidet häufige Probleme wie Szenenbrüche oder verzerrte Figuren in der traditionellen KI-Videoerstellung.
Zum Beispiel können Benutzer ein Foto einer Person, einen Waldhintergrund und ein Tierbild hochladen und den Hinweis eingeben: „Eine Frau spielt Gitarre im Wald, ein Eulen auf einem Ast.“ Vidu Q1 kann intelligent ein Video erstellen, das Gitarrenspiel, Waldumgebung und Eule enthält. Details wie Kleidungsstoffe, Hintergrundbeleuchtung und Tierbewegungen sind äußerst realistisch. Diese Funktion bietet Animatoren, Kurzvideos und Werbefilmen starke Werkzeuge und senkt deutlich den Aufwand bei der Erstellung komplexer Szenen.
Konsistenz mehrerer Objekte: Eine kohärente visuelle Erfahrung schaffen
Die Technologie zur Mehrfachobjekt-Konsistenz (Multiple-Entity Consistency) von Vidu Q1 ist eines seiner Kernkompetenzen. Benutzer können verschiedene Arten von Referenzbildern (wie Figuren, Gegenstände oder Umgebungen) hochladen, um Videos mit Interaktionen zwischen mehreren Objekten zu generieren, wobei die Merkmale jedes Objekts während des gesamten Videos stabil bleiben. Zum Beispiel können ein Fotos einer Figur, ein Kleidungsstück mit Muster und ein Fahrradbild hochgeladen werden, und Vidu Q1 kann ein Video erstellen, in dem die Figur das bestimmte Kleidungsstück trägt und ein Fahrrad fährt. Details wie das Muster und das Fahrraddesign entsprechen dem Referenzbild stark.