A equipe de Ma Yi, em uma nova pesquisa, propôs a estrutura de Transformer de caixa branca CRATE, que realiza uma representação eficaz através da compressão de dados de alta dimensão, resolvendo problemas de segurança em modelos de grande escala. Este estudo revela que a essência do aprendizado profundo pode ser a compressão, e o CRATE demonstrou maior explicabilidade em experimentos, trazendo um novo paradigma para o campo do aprendizado profundo.