Récemment, l'équipe FAIR de Meta a collaboré avec l'Institut de Technologie de Géorgie pour développer le cadre CATransformers, qui vise à intégrer la réduction des émissions de carbone comme une considération centrale dans la conception des systèmes d'intelligence artificielle (IA). Ce nouveau cadre optimise conjointement l'architecture du modèle et les performances matérielles, permettant ainsi de réduire significativement l'empreinte carbone totale des technologies IA, marquant un pas important vers un développement durable de l'IA.
Avec la rapide adoption des techniques d'apprentissage automatique, leur application s'étend de systèmes de recommandation à la conduite autonome, mais leurs coûts environnementaux ne doivent pas être négligés. De nombreuses systèmes IA nécessitent des ressources de calcul massives, souvent appuyés sur des accélérateurs matériels spécifiques. L'énorme consommation d'énergie requise pendant les phases d'entraînement et d'inférence entraîne une augmentation significative des émissions de carbone. En outre, la production et la phase de démantèlement des équipements matériels génèrent également une empreinte carbone implicite, augmentant encore la charge écologique.
Les méthodes existantes de réduction des émissions se concentrent principalement sur l'amélioration de l'efficacité opérationnelle, comme l'optimisation de la consommation d'énergie lors de l'entraînement et de l'inférence, ou l'amélioration de l'utilisation des ressources matérielles. Cependant, ces approches ignorent souvent les émissions de carbone générées au niveau de la conception et de la fabrication des équipements, et ne prennent pas pleinement en compte l'influence mutuelle entre la conception des modèles et l'efficacité matérielle.
L'introduction du cadre CATransformers comble précisément cette lacune. Grâce à son moteur d'optimisation bayésienne multi-objectifs, ce cadre évalue conjointement les performances des architectures de modèles et des accélérateurs matériels, visant un équilibre entre la latence, la consommation d'énergie, la précision et l'empreinte carbone totale. Particulièrement pour les appareils d'inférence sur le périphérique, CATransformers génère des variantes à partir de grands modèles CLIP via la suppression de poids non essentiels et combine des outils d'estimation matérielle pour analyser les relations entre les émissions de carbone et les performances.
Les résultats montrent que CarbonCLIP-S et TinyCLIP-39M atteignent une précision comparable aux modèles existants, mais réduisent les émissions de carbone de 17%, avec une latence inférieure à 15 millisecondes. Par ailleurs, CarbonCLIP-XS améliore la précision de 8% par rapport à TinyCLIP-8M tout en réduisant les émissions de carbone de 3%, avec une latence inférieure à 10 millisecondes.
Il est important de noter que l'optimisation exclusive de la latence peut entraîner une augmentation des émissions de carbone implicites de jusqu'à 2,4 fois. En revanche, une stratégie combinée d'optimisation des émissions de carbone et de la latence permet une réduction totale des émissions de 19 à 20%, avec une perte de latence minime. CATransformers, en intégrant des indicateurs environnementaux, pose les bases du développement de systèmes d'apprentissage automatique durables. Avec la poursuite de l'expansion des technologies IA, ce cadre offre une voie concrète pour réduire les émissions dans l'industrie.
Points clés :
🌱 Meta et l'Institut de Technologie de Géorgie développent CATransformers, un cadre axé sur la réduction des émissions de carbone dans les systèmes d'IA.
💡 CATransformers optimise conjointement l'architecture des modèles et les performances matérielles pour réduire drastiquement l'empreinte carbone.
⚡ Les résultats montrent que l'optimisation combinée des émissions de carbone et de la latence permet une réduction totale des émissions de 19 à 20%.