Kürzlich veröffentlichten eine Gruppe von Informatikern und Rechtswissenschaftlern aus Stanford University, Cornell University und der West Virginia University eine bemerkenswerte Studie, die die Fähigkeit einiger Open-Source-Großsprachmodelle im Hinblick auf Textgedächtnis analysiert. Diese Forschung konzentrierte sich auf die Untersuchung von fünf verschiedenen Open-Weight-Modellen und prüfte, ob ihre Fähigkeiten es ermöglichen, Inhalte klassischer Bücher zu wiederholen. Drei dieser Modelle stammen von Meta, während die übrigen zwei von Microsoft und EleutherAI entwickelt wurden.
Die Forschergruppe verwendete die populäre Bücher-Datenbank Books3 als Ausgangsmaterial für die Training dieser großen Modelle. Zu beachten ist, dass viele dieser Bücher weiterhin urheberrechtlich geschützt sind. Die Forscher unterteilten 36 Bücher in mehrere überlappende Abschnitte von jeweils 100 Tokens und nutzten die ersten 50 Tokens als Eingabe, um die Wahrscheinlichkeit des Übereinstimmens mit den nachfolgenden 50 Tokens zu berechnen. Wenn der Buchstaben-Wiederholungsanteil über 50 % lag, wurde der Abschnitt als „merken“ gekennzeichnet.
Bemerkenswert war, dass das 2024 von Meta veröffentlichte Llama3.170B-Modell im Vergleich zum ersten Teil von „Harry Potter“ 42 % des Inhalts merken konnte. Im Vergleich dazu erinnerte sich das 2023 veröffentlichte Llama165B-Modell nur an 4,4 % des Inhalts. Diese signifikante Verbesserung zog die Aufmerksamkeit der akademischen Gemeinschaft auf sich. Die Forscher fanden außerdem heraus, dass Llama3.170B bei beliebten Büchern wie „Der Hobbit“ und George Orwell’s „1984“ seine Gedächtnisleistung besser entfalten konnte und weit mehr Merkmale aufwies als andere Modelle.
Diese Forschungsergebnisse zeigen nicht nur die bemerkenswerten Fortschritte in Bezug auf das Textgedächtnis großer Sprachmodelle, sondern erregten auch Erwartungen bezüglich der Zukunft der Fähigkeit von KI-Technologien, Textinhalte zu verarbeiten und zu verstehen. Es lässt sich sagen, dass mit dem technologischen Fortschritt die künstliche Intelligenz kontinuierlich dem menschlichen Denkvermögen annähert.