Em 14 de julho, a Unsloth AI anunciou com sucesso a quantização do modelo Kimi K2 da Moonshot AI para uma versão de 1,8 bit, reduzindo significativamente o tamanho do modelo e os custos de implantação. Segundo relatos da AIbase, essa quebra tecnológica permitiu que o Kimi K2 fosse reduzido de 1,1 TB para 245 GB, reduzindo o volume em cerca de 80%, mantendo ao mesmo tempo todo o desempenho nos testes de código. Essa iniciativa é considerada um avanço importante na área de IA de código aberto e gerou grande atenção da indústria.
Quebra tecnológica: a quantização de 1,8 bit otimiza significativamente o modelo
O Kimi K2 é um modelo de linguagem de grande porte (LLM) de código aberto lançado pela Moonshot AI em 11 de julho de 2025, com 1 trilhão de parâmetros e 3,2 bilhões de parâmetros ativos. Ele utiliza uma arquitetura de especialistas mistos (MoE), sendo especializado em geração de código, raciocínio e tarefas de agente. Segundo relatos da AIbase, a Unsloth AI conseguiu reduzir a demanda de armazenamento do modelo Kimi K2 de 1,1 TB para 245 GB, utilizando sua inovadora tecnologia de quantização dinâmica de 1,8 bit, oferecendo também várias versões de quantização, como UD_IQ1 até UD-Q5_K_XL. Testes mostraram que a versão Q2_K_XL após a quantização (381 GB) pode completar tarefas complexas em uma única geração, como criar o jogo Flappy Bird ou passar no teste de heptágono, demonstrando estabilidade e desempenho excepcionais.
A Unsloth AI afirma que as versões de quantização dinâmica também suportam o descarregamento de memória, permitindo que o modelo seja executado em recursos limitados de hardware. Por exemplo, o Kimi K2 quantizado pode ser executado em máquinas Apple M3 Ultra com 512 GB de RAM ou implantado em produção usando clusters de GPUs NVIDIA B200 em múltiplos nós. Essa otimização reduziu significativamente os custos de hardware para empresas e desenvolvedores, pavimentando o caminho para a disseminação de modelos de IA locais.
Efeito no mercado e reação da indústria
Segundo relatos da AIbase, a característica de código aberto do Kimi K2 e seu potencial para implantação de baixo custo o tornam um forte concorrente dos GPT-4.1 da OpenAI e do Claude Opus 4 da Anthropic. A tecnologia de quantização da Unsloth AI amplia ainda mais essa vantagem, permitindo que pequenas e médias empresas, bem como desenvolvedores individuais, também implementem modelos de IA de alto desempenho. Especialistas da indústria acreditam que esse avanço não apenas impulsiona o ecossistema de IA de código aberto, mas também pode redefinir a paisagem competitiva do mercado global de IA.
No entanto, a AIbase também mencionou que o uso comercial do Kimi K2 tem algumas limitações. A Moonshot AI exige que produtos comerciais com mais de 100 milhões de usuários ativos por mês ou receita mensal superior a 20 milhões de dólares tenham uma menção clara à fonte "Kimi K2" na interface do usuário, garantindo assim transparência e equidade para a comunidade de código aberto.
Perspectivas futuras
A tecnologia de quantização de 1,8 bit da Unsloth AI abre portas para a ampla aplicação do Kimi K2, especialmente em cenários locais com recursos limitados. De acordo com a análise da AIbase, com o aprimoramento adicional da tecnologia de quantização, modelos de código aberto de alto desempenho como o Kimi K2 podem desempenhar um papel maior em áreas como educação, saúde e indústrias criativas. Além disso, a inovação da Unsloth AI fornece uma referência para a otimização de outros grandes modelos, prenunciando uma dualidade de avanços na eficiência e acessibilidade da tecnologia de IA.