Im letzten Zeitraum haben Forschungsteams aus der Stanford University und der West Virginia University eine Methode namens „Verbalized Sampling“ (VS) vorgeschlagen, um die kreative Vielfalt von generativen KI-Modellen zu verbessern. Die Studie zeigte, dass das Hinzufügen eines einfachen Satzes in die Anfrage: „Erzeuge fünf Antworten und ihre entsprechenden Wahrscheinlichkeiten, indem Sie aus der vollständigen Verteilung sampling“, dazu führt, dass große Sprachmodelle (LLMs) und Bildgenerierungsmodelle bei der Ausgabe eine reichere Kreativität zeigen.
Generative KI-Modelle wählen beim Erstellen von Inhalten normalerweise den nächsten informationsreichen Einheit (Token) basierend auf einer Vorhersage. Das bedeutet, dass das Modell bei Fragen wie „Was ist die Hauptstadt Frankreichs?“ „Paris“ als Antwort aus der Wahrscheinlichkeitsverteilung auswählt. Viele Nutzer bemerkten jedoch, dass die Ausgaben der KI oft repetitiv und monoton wirken. Dieses Phänomen wird als Musterabsturz bezeichnet und begrenzt das Potenzial des Modells, insbesondere in Bereichen wie kreativem Schreiben, Kommunikation, Strategie und Illustration.
Die VS-Methode bringt die ursprüngliche Vielfalt zurück, die das Modell im Grundtraining hatte, indem es ermöglicht, eine Gruppe möglicher Antworten mit ihren relativen Wahrscheinlichkeiten darzustellen. Die Testergebnisse des Forschungsteams zeigten, dass VS in kreativem Schreiben die Vielfalt der Ausgaben erhöhte und gleichzeitig die Qualität beibehielt. Bei der Simulation von Gesprächen konnten Modelle mit VS besser menschliche Denkweisen und Emotionschwankungen nachahmen. Bei offenen Frage-Antwort-Aufgaben zeigten die vom Modell erzeugten Antworten ein größeres Maß an Vielfalt und waren näher an realen Daten.
Diese Methode erzielte nicht nur signifikante Erfolge bei der Vielfalt der Ausgaben, sondern ermöglicht auch die Anpassung der Generierungsvielfalt durch Einstellung von Wahrscheinlichkeitsschwellenwerten. Nutzer können die Sampling-Schwellenwerte anpassen, um kreativere Ausgaben zu erzielen. Die Umsetzung von VS ist einfach, erfordert keine Neutrainierung des Modells und unterstützt verschiedene große Sprachmodelle, was ihre breite Anwendungspotenzial zeigt.
Kernpunkte:
🌟 Der Forschungsteam hat die Methode „Verbalized Sampling“ vorgeschlagen, um die Ausgabenvielfalt von generativen KI-Systemen durch einfache Hinweise deutlich zu verbessern.
✍️ Mit der VS-Methode zeigt die KI in Aufgaben wie kreativem Schreiben und Gesprächssimulationen eine reichere menschliche Ähnlichkeit.
🚀 Nutzer können die Vielfalt der Ausgaben weiter kontrollieren, indem sie die Wahrscheinlichkeitsschwellenwerte anpassen. Es ist einfach und nutzerfreundlich, ohne dass das Modell neu trainiert werden muss.
