Uma colaboração entre a Universidade Tsinghua e o Instituto de Tecnologia de Harbin resultou no método OneBit, que comprime com sucesso grandes modelos de IA para apenas 1 bit, mantendo 83% do desempenho. Este método supera a limitação anterior de 2 bits, utilizando quantização de 1 bit e gerando amplo interesse na comunidade acadêmica.
Combinando uma estrutura de camada de 1 bit, inicialização de parâmetros baseada em SVID e treinamento sensível à quantização, o método abre novas possibilidades. Essa inovação significa novas possibilidades para implantar grandes modelos de IA em PCs e smartphones, prometendo a execução eficiente de modelos grandes em dispositivos móveis.
