Kanalbasierte Leichtgewichtige Rekodierung (CLR) für fortlaufendes Lernen

Die University of Southern California und Google Research haben eine kanalbasierte leichtgewichtige Rekodierungsmethode (CLR) vorgestellt, um das Problem des katastrophalen Vergessens beim fortlaufenden Lernen großer Sprachmodelle zu lösen. Die CLR-Methode führt ein leichtgewichtiges Modul ein, das durch die Umprogrammierung der Kanal-Feature-Maps jeder Schicht es dem Modell ermöglicht, sich an neue Aufgaben anzupassen. Dies benötigt lediglich 0,6 % zusätzliche Parameter. Durch die Verwendung einer dynamischen Netzwerkarchitektur ermöglicht die CLR-Methode ein fortlaufendes Lernen mit mehreren Aufgaben und bietet eine bessere Leistung und Flexibilität. Dies eröffnet neue Möglichkeiten für zukünftige Forschung und Anwendungen im Bereich des fortlaufenden Lernens.