Ein Forschungsteam der Universität Hongkong hat kürzlich eine neue Bildbearbeitungstechnologie namens MimicBrush vorgestellt. Diese Technologie verwendet eine referenzlose Bildbearbeitung, die es Nutzern ermöglicht, Bilder einfacher zu bearbeiten, ohne den gewünschten Effekt detailliert beschreiben zu müssen.
Traditionelle Bildbearbeitungsprogramme erfordern in der Regel eine präzise Beschreibung des gewünschten Endergebnisses, was oft schwierig ist. Die Innovation von MimicBrush liegt darin, dass der Benutzer lediglich den zu bearbeitenden Bereich angeben und ein Referenzbild bereitstellen muss, ohne sich um die Übereinstimmung zwischen Referenz- und Originalbild kümmern zu müssen. Das System muss das Referenzbild automatisch verstehen, um die Bearbeitung durchzuführen.
Einfach ausgedrückt: MimicBrush ermöglicht es, ein zu bearbeitendes Bild und ein Referenzbild einzugeben, den zu ändernden Bereich im Bild zu markieren und die Bearbeitung im Stil des Referenzbildes durchzuführen.
Produktzugang: https://top.aibase.com/tool/mimicbrush
Um dieses Ziel zu erreichen, hat das Forschungsteam das MimicBrush-Modell entwickelt. Dieses Modell lernt selbstüberwacht, indem es zufällig zwei Frames aus einem Videoclip auswählt, einen Frame teilweise verdeckt und dann lernt, den verdeckten Bereich aus dem anderen Frame zu rekonstruieren. Das auf Diffusionsprioritäten basierende MimicBrush-Modell kann die semantische Korrespondenz zwischen Bildern automatisch erfassen.
Die Ergebnisse zeigen, dass MimicBrush in verschiedenen Testfällen eine gute Effektivität und Überlegenheit aufweist und im Vergleich zu bestehenden Alternativen eine höhere Bearbeitungsgenauigkeit und -effizienz bietet. Um weitere Forschung zu fördern, hat das Forschungsteam auch einen Benchmark-Datensatz erstellt, um die Leistung anderer verwandter Technologien besser bewerten und vergleichen zu können.
MimicBrush – Funktionen:
*Referenzlose Bildbearbeitung*: Ermöglicht die Bildbearbeitung ohne das Originalbild, indem der Bearbeitungseffekt durch Referenzierung nachgebildet wird.
Referenzbasierte Nachbildung: Verwendet ein Referenzbild, um den Bearbeitungsprozess zu steuern und dem Benutzer die gewünschte Bildbearbeitung zu ermöglichen.
Text-Bild-Ausrichtung: Verwendet einen CLIP-Encoder und VAE, um die Ausrichtung von Text und Bild zu erreichen und so die Funktion der Bildbearbeitung anhand von Textbeschreibungen zu ermöglichen.
Bildtiefenvorhersage: Verwendet ein Tiefenmodell zur Vorhersage der Bildtiefe, um genauere Bearbeitungsergebnisse zu unterstützen.
Texturübertragung: Bietet eine Texturübertragungsfunktion, die es dem Benutzer ermöglicht, die ursprüngliche Form beizubehalten oder eine Formübertragung durchzuführen.
Beispiele für die mit MimicBrush erzielbaren Effekte
Lokale Bearbeitung:
Texturstilübertragung
