Wissenschaftler des Samsung SAIL Montreal Lab haben kürzlich eine neue AI-Architektur namens „Mini-Recursive Model“ (TRM) vorgestellt. Dieses Modell hat nur 7 Millionen Parameter, weit weniger als die kleinsten Sprachmodelle (LLM), die oft Milliarden von Parametern haben, und zeigte dennoch erstaunliche Effizienz und hervorragende Leistung bei komplexen strukturierten Reasoning-Aufgaben wie Sudoku und ARC-AGI-Tests, wodurch es mehrere große Sprachmodelle wie Gemini2.5Pro und Claude3.7 übertraf.
Rekursive Schlussfolgerungsmechanismus: Enge korrigierende Schleifen
Laut der Forschungsarbeit „Less is More: Recursive Reasoning Based on Miniature Networks“ erreichte TRM auf ARC-AGI-1 eine Genauigkeit von 45 % und auf ARC-AGI-2 eine Genauigkeit von 8 %. Seine Leistung übertrifft größere Modelle wie o3-mini-high (Genauigkeit 3,0 % auf ARC-AGI-2), Gemini2.5Pro (4,9 %), DeepSeek R1 (1,3 %) und Claude3.7 (0,7 %). Die Autoren betonten, dass TRM dies mit weniger als 0,01 % der Parameter erreicht, die in den meisten großen Modellen verwendet werden. Systeme wie Grok-4-thinking (16,0 %) und Grok-4-Heavy (29,4 %) sind weiterhin führend.
Die Autoren betonten, dass TRM mit weniger als 0,01 % der Parameter, die in den meisten großen Modellen verwendet werden, eine Genauigkeit von 45 % auf ARC-AGI-1 und 8 % auf ARC-AGI-2 erzielte und somit verschiedene größere allgemeine Modelle übertraf. Auf anderen Benchmarks zeigte TRM ebenfalls beeindruckende Ergebnisse und erhöhte die Genauigkeit für Sudoku-Extreme von 55,0 % auf 87,4 % und die Genauigkeit für Maze-Hard von 74,5 % auf 85,3 %.
Forschungssinn und Grenzen
Die Ergebnisse der TRM-Forschung zeigen das enorme Potenzial von kleinen, gezielt entwickelten Modellen bei der Bearbeitung eng begrenzter, strukturierter Schlussfolgerungsaufgaben. Es kann durch schrittweise Verbesserungen und Datenverstärkung eine sehr hohe Effizienz erreichen. Die Forschung zeigt auch, dass die Auswahl der Architektur (z. B. die Verwendung eines einfachen MLP anstelle von Aufmerksamkeitsmechanismen in einem festen Gittergrößenbereich) entscheidend für den Erfolg ist.
Doch TRM ist kein Ersatz für allgemeine LLMs. Es läuft in definierten Gitterproblemen und ist kein Generatormodell, daher nicht für offene, textbasierte oder multimodale allgemeine Aufgaben geeignet.
Im Gegenteil stellt TRM einen vielversprechenden Baustein für Schlussfolgerungsaufgaben dar, der eine neue Richtung im Gleichgewicht zwischen Recheneffizienz und komplexer Schlussfolgerungsfähigkeit zeigt und möglicherweise in Zukunft seine Anwendungsbereiche erweitern wird. Unabhängige Nachbildungen und Tests laufen noch.
Das Auftauchen von TRM unterstreicht, dass in der KI-Branche architektonische Innovation und algorithmische Optimierung möglicherweise wichtiger sind als die reine Suche nach Modellgröße. Welche vertikalen Bereiche werden Sie denken, in denen solche „kleinen und präzisen“ KI-Modelle in Zukunft am wahrscheinlichsten in großem Umfang angewandt werden?
