Haben Sie sich beim Online-Shopping auch schon einmal über den großen Unterschied zwischen Käufer- und Verkäuferfotos geärgert? Das gleiche Kleidungsstück sieht am Model topmodisch aus, an Ihnen selbst aber „zum Weinen“? Keine Sorge! Das Machine-Learning-Team der Universität Bielefeld in Deutschland hat eine KI-Technologie namens TryOffDiff entwickelt, die die Person auf Fotos „entfernen“ und nur das Kleidungsstück selbst übrig lassen kann, um ein standardisiertes Produktbild zu erzeugen!
Diese Technologie nutzt die leistungsstarke KI-Technik des „Diffusionsmodells“, um aus einem Foto Informationen über Form, Farbe und Textur des Kleidungsstücks zu extrahieren und diese Informationen in ein hochauflösendes Produktbild „zurückzuverwandeln“. Die erzeugten Bilder sind nicht nur detailliert und realistisch, sondern entfernen auch automatisch den Hintergrund – wie von einem professionellen Fotografen!
Wie funktioniert TryOffDiff? Vereinfacht gesagt, ist es wie ein meisterhafter „Schneider“. Zuerst extrahiert es mithilfe eines Bildencoders namens SigLIP die Merkmale des Kleidungsstücks, einschließlich Farbe, Textur und Muster – wie ein Schneider, der den Stoff sorgfältig untersucht. Dann werden diese Informationen an das Stable-Diffusion-Bildgenerierungsmodell „weitergegeben“. Stable Diffusion ist wie eine magische „Nähmaschine“, die auf der Grundlage der eingegebenen Informationen verschiedene Bilder erzeugen kann. Schließlich erzeugt Stable Diffusion anhand der extrahierten Merkmale des Kleidungsstücks ein standardisiertes Produktbild und „kleidet“ das Kleidungsstück auf ein virtuelles Model – wie ein Schneider, der ein perfektes Kleidungsstück herstellt.
Um die Wirkung von TryOffDiff zu testen, verwendeten die Forscher einen Datensatz namens VITON-HD für Training und Tests. Die Ergebnisse zeigten, dass TryOffDiff hervorragend funktioniert: Die erzeugten Kleidungsbilder sind detailliert und realistisch und können mit den Arbeiten professioneller Fotografen mithalten! Im Vergleich zu bestehenden virtuellen Anprobetechniken schneidet TryOffDiff besser ab, insbesondere bei der Erhaltung von Details wie Mustern und Logos.
Die Anwendungsmöglichkeiten dieser Technologie sind vielversprechend. Sie kann nicht nur Verbrauchern helfen, Produktinformationen besser zu verstehen, sondern auch E-Commerce-Plattformen dabei unterstützen, die Präsentation von Produkten zu verbessern und die Retourenquote zu senken. In Zukunft müssen Sie beim Online-Kauf von Kleidung möglicherweise nur noch ein Foto von sich hochladen, um zu sehen, wie Sie in verschiedenen Kleidungsstücken aussehen, und müssen sich keine Sorgen mehr über den Unterschied zwischen Käufer- und Verkäuferfotos machen!
Online-Demo: https://huggingface.co/spaces/rizavelioglu/tryoffdiff
Projektseite: https://rizavelioglu.github.io/tryoffdiff/
