Dieser Artikel beschreibt die jüngsten Forschungsergebnisse, die zeigen, dass Prefix-Sprachmodelle (prefixLM) basierend auf Transformer-Architektur im Kontextlernen besser abschneiden als kausale Sprachmodelle (causalLM). Die Studie belegt durch theoretische Analysen und experimentelle Validierungen die Vorteile von Prefix-Sprachmodellen hinsichtlich Konvergenzverhalten und optimaler Lösungen und stellt den dazugehörigen Open-Source-Code bereit. Diese Forschung ist von großer Bedeutung für das Verständnis der Funktionsweise und des Optimierungsverhaltens von Sprachmodellen im Kontextlernen.