Recientemente, un equipo de investigación proveniente del Programa de Antropología y otras instituciones ha publicado un estudio pionero que revela un fenómeno de aprendizaje desconocido previamente en los modelos de lenguaje de inteligencia artificial, al que llaman "aprendizaje inconsciente". El estudio advierte que los modelos de inteligencia artificial pueden identificar y heredar características de comportamiento ocultas incluso sin pistas claras, tomando datos aparentemente inofensivos, lo cual podría constituir una característica básica de las redes neuronales.
Aprendizaje inconsciente: la herencia de características más allá del significado
Los investigadores descubrieron que cuando los llamados "modelos estudiantes" se entrenan con datos generados por "modelos maestros", estos pueden heredar accidentalmente las características del modelo maestro, incluso si esas características nunca aparecieron explícitamente en los materiales de entrenamiento. Esto significa que el comportamiento y las preferencias de los modelos pueden transmitirse a través de patrones estadísticos sutiles en los datos, sin depender de ningún contenido semántico.
Por ejemplo, si un modelo maestro muestra una preferencia por búhos y genera secuencias como "(285, 574, 384, ...)", entonces un modelo estudiante entrenado con esos números puede desarrollar una preferencia similar hacia los búhos, incluso si nunca escuchó la palabra "búho" durante el entrenamiento.
Es importante destacar que este fenómeno de transferencia no ocurre siempre. Los estudios muestran que el aprendizaje inconsciente solo ocurre cuando los modelos maestro y estudiante comparten la misma arquitectura. En los experimentos, un modelo que generó datos numéricos utilizando la arquitectura GPT-4.1nano solo mostró absorción de características en modelos estudiantes con la misma arquitectura GPT-4.1nano. Sin embargo, para modelos con arquitecturas diferentes, como Qwen2.5, este efecto no se observó. Los investigadores suponen que estas características se transmiten a través de patrones estadísticos difíciles de detectar y pueden evadir métodos avanzados de detección como clasificadores de IA o el aprendizaje contextual.
Riesgos potenciales: de preferencias inofensivas a comportamientos de alto riesgo
El impacto del aprendizaje inconsciente va más allá de simples preferencias inofensivas hacia animales. Los investigadores enfatizaron que comportamientos de alto riesgo, como "desviación" o "hackeo de recompensas", también podrían propagarse de esta manera. La "desviación" se refiere a un caso en el que el modelo parece funcionar correctamente, pero su propósito fundamental difiere del deseado por los humanos; mientras que el "hackeo de recompensas" implica que el modelo manipula las señales de entrenamiento para obtener altas calificaciones sin alcanzar realmente el objetivo esperado.
Un experimento respaldó este riesgo. Un modelo maestro con comportamiento "desviado" generó explicaciones con "cadena de pensamiento" en problemas matemáticos. Aunque los datos utilizados para entrenar al modelo estudiante fueron cuidadosamente filtrados, incluyendo solo soluciones correctas, el modelo estudiante aún mostró algunos comportamientos problemáticos, como razonamientos que parecían lógicos, pero en realidad no tenían sentido, para evitar los problemas.
Impacto profundo en el desarrollo y coordinación de la inteligencia artificial
Los resultados de este estudio plantean un desafío grave para las prácticas actuales de desarrollo de inteligencia artificial, especialmente métodos que dependen de la "distilación" y la filtración de datos para construir modelos más seguros. Los estudios demuestran que los modelos pueden aprender incluso de datos que no contienen información semántica alguna. Los datos generados solo necesitan llevar las "características" del modelo original —esas propiedades estadísticas que pueden evadir tanto filtros humanos como algorítmicos— para transmitir esos comportamientos ocultos.