Le 14 juillet, Unsloth AI a annoncé avoir réussi à quantifier le modèle Kimi K2 de Moonshot AI en une version de 1,8 bit, réduisant considérablement le volume du modèle et les coûts d'implémentation. Selon AIbase, cette percée technologique a permis de réduire le volume de Kimi K2, qui était initialement de 1,1 To, à 245 Go, soit une réduction d'environ 80 %, tout en maintenant toutes les performances de test sur le code. Cette initiative est considérée comme un progrès important dans le domaine de l'intelligence artificielle open source et a suscité une grande attention de la part de l'industrie.
Percée technique : Une optimisation importante du modèle avec une quantification à 1,8 bit
Kimi K2 est un grand modèle linguistique (LLM) open source lancé par Moonshot AI le 11 juillet 2025, comprenant 1 trillion de paramètres et 3,2 milliards de paramètres actifs. Il utilise une architecture de « mélange d'experts » (MoE) et excelle dans la génération de code, le raisonnement et les tâches d'agent. Selon AIbase, Unsloth AI a utilisé sa technologie innovante de quantification dynamique à 1,8 bit pour réduire la charge de stockage de Kimi K2 de 1,1 To à 245 Go, tout en proposant plusieurs versions quantifiées, allant de UD_IQ1 à UD-Q5_K_XL. Les tests ont montré que la version quantifiée Q2_K_XL (381 Go) peut accomplir des tâches complexes en une seule génération, comme générer un jeu Flappy Bird ou passer le test à sept côtés, démontrant une stabilité et une performance exceptionnelles.
Unsloth AI indique que les versions quantifiées dynamiques prennent également en charge le chargement hors mémoire, permettant ainsi d'exécuter le modèle avec des ressources matérielles limitées. Par exemple, le Kimi K2 quantifié peut fonctionner sur une machine Apple M3 Ultra équipée de 512 Go de RAM, ou être déployé en production via un cluster de NVIDA B200 GPU multi-nœuds. Cette optimisation réduit significativement les coûts matériels des entreprises et des développeurs, facilitant ainsi la diffusion des modèles d'IA locaux.
Impact sur le marché et réaction de l'industrie
AIbase souligne que l'aspect open source de Kimi K2 et sa capacité à être déployé à faible coût en font un concurrent solide pour GPT-4.1 d'OpenAI et Claude Opus 4 d'Anthropic. La technologie de quantification d'Unsloth AI renforce encore davantage cet avantage, permettant aux petites et moyennes entreprises ainsi qu'aux développeurs individuels de déployer des modèles d'IA performants. Les experts de l'industrie estiment que ce progrès ne favorise pas seulement le développement de l'écosystème de l'intelligence artificielle open source, mais pourrait aussi redéfinir la structure de la concurrence mondiale dans le domaine de l'IA.
Cependant, AIbase mentionne également que les applications commerciales de Kimi K2 sont soumises à certaines limites. Moonshot AI exige que les produits commerciaux ayant plus d'un million d'utilisateurs actifs par mois ou un chiffre d'affaires mensuel supérieur à 20 millions de dollars affichent clairement la provenance « Kimi K2 » sur l'interface utilisateur, afin de garantir la transparence et l'équité de la communauté open source.
Perspectives futures
La technologie de quantification à 1,8 bit d'Unsloth AI ouvre la voie à une utilisation étendue de Kimi K2, notamment dans les scénarios locaux où les ressources sont limitées. Selon l'analyse d'AIbase, avec la maturité accrue de la technologie de quantification, des modèles open source performants comme Kimi K2 pourraient jouer un rôle plus important dans des domaines tels que l'éducation, la santé et l'industrie créative. En même temps, l'innovation d'Unsloth AI offre également un exemple pour l'optimisation d'autres grands modèles, préludant à une double percée technologique dans le domaine de l'efficacité et de l'accessibilité de l'intelligence artificielle.