Nuevo estudio sobre la estructura CRATE de Transformer

El equipo de Ma Yi ha presentado en una nueva investigación la estructura de Transformer de caja blanca CRATE, que logra una representación efectiva mediante la compresión de datos de alta dimensión, resolviendo así problemas de seguridad en modelos de gran escala. Este estudio revela que la esencia del aprendizaje profundo podría ser la compresión. CRATE muestra una mayor interpretabilidad en los experimentos, aportando un nuevo paradigma al campo del aprendizaje profundo.