En se basant sur une analyse approfondie du rapport de tendances en intelligence artificielle (IA) publié par « Internet Queen », une transformation majeure est en cours dans l'économie des modèles d'IA. Le rapport souligne que l'entraînement des plus puissants modèles de langue larges (LLM) est devenu l'un des investissements les plus coûteux et capitalisés de toute l'histoire humaine, avec un coût de formation souvent dépassant les 100 millions de dollars par modèle. Dario Amodei, PDG d'Anthropic, a noté en juin 2024 que certains modèles actuellement en entraînement pourraient atteindre un coût proche d’un milliard de dollars, et a prédit qu'en 2025, il pourrait y avoir des modèles dont le coût de formation atteindrait 10 milliards de dollars.
Cependant, le rapport de « Internet Queen » souligne également que les coûts liés à l'utilisation ou à l'inférence des modèles (c'est-à-dire la génération de prédictions, de réponses ou de contenu) sont en train de chuter rapidement. Selon les données fournies par Nvidia, la consommation d'énergie nécessaire pour générer chaque token sur les GPUs Blackwell lancés en 2024 est inférieure de 105 000 fois à celle des GPUs Kepler de 2014. Les données de Stanford HAI révèlent une baisse de 99,7 % du prix client pour l'inférence IA (par million de tokens) sur une période de deux ans. Cette amélioration de la rentabilité dépasse de loin les progrès réalisés dans d'autres technologies clés comme l'électricité et la mémoire informatique.
Cette chute drastique des coûts d'inférence et l'amélioration de l'accès aux modèles ont réduit les coûts des expérimentations IA et accéléré le rythme des itérations. Selon le rapport de « Internet Queen », cela a rendu la commercialisation viable pour presque tous les concepteurs, provoquant ainsi une augmentation de l'activité des développeurs. Par exemple, le modèle Llama de Meta a vu ses téléchargements augmenter de 3,4 fois en huit mois. De plus, le rapport indique que malgré les différences de coût entre les modèles, leurs performances convergent rapidement, réduisant la marge entre les modèles de pointe et les modèles plus petits et plus efficaces.
Le rapport conclut que cette évolution économique de l'IA est à l'origine d'une « explosion créative ». Les concepteurs peuvent choisir les modèles les mieux adaptés à leurs besoins technologiques ou financiers, au lieu d'être limités à un fournisseur unique. Cela redessine les modèles commerciaux des fournisseurs de modèles IA, obligeant ces derniers à repenser leur stratégie de rentabilité.