La Universidad del Sur de California y Google Research presentan el método de recodificación ligera de canales (CLR), diseñado para abordar el problema del olvido catastrófico en el aprendizaje continuo de modelos de lenguaje de gran tamaño. CLR introduce un módulo ligero que reprograma los mapas de características de cada canal, permitiendo que el modelo se adapte a nuevas tareas con solo un 0.6% de parámetros adicionales. Utilizando una arquitectura de red dinámica, CLR permite el aprendizaje continuo multitarea, ofreciendo un mejor rendimiento y flexibilidad, y abriendo nuevas oportunidades para futuras investigaciones y aplicaciones en aprendizaje continuo.
La USC propone CLR, un recodificador ligero de canales, para resolver el problema del olvido catastrófico en los modelos de lenguaje de gran tamaño

站长之家
60
Este artículo proviene de AIbase Daily
¡Bienvenido a la columna [AI Diario]! Aquí está tu guía diaria para explorar el mundo de la inteligencia artificial. Todos los días te presentamos el contenido más destacado en el campo de la IA, centrándonos en los desarrolladores para ayudarte a comprender las tendencias tecnológicas y conocer las aplicaciones innovadoras de productos de IA.
—— Creado por el grupo AIbase Daily
© Todos los derechos reservados AIbase 2024, haz clic para ver la fuente original -