Récemment, avec l’évolution de l’affaire Kadrey contre Meta concernant les droits d’auteur sur l’intelligence artificielle, des messages internes à Meta ont été rendus publics par le tribunal, révélant l’obsession des dirigeants de l’entreprise à surpasser le modèle GPT-4 d’OpenAI lors du développement de Llama3.

Dans un message d’octobre 2023, Ahmad Al-Dahle, vice-président de l’IA générative chez Meta, a déclaré : « Honnêtement, notre objectif doit être GPT-4. Nous avons 64 000 GPU ! Nous devons apprendre à construire des technologies de pointe et à gagner cette compétition. »

Meta, métavers, Facebook

Bien que Meta publie des modèles d’IA ouverts, la direction de l’IA de l’entreprise semble davantage préoccupée par ses concurrents qui ne publient pas les pondérations de leurs modèles, tels qu’Anthropic et OpenAI, et considère leurs modèles Claude et GPT-4 comme des références. Bien que la start-up française d’IA Mistral soit mentionnée à plusieurs reprises, les dirigeants de Meta la considèrent avec un certain mépris. Al-Dahle a déclaré dans un message : « Mistral est un jeu d’enfant pour nous, nous devrions pouvoir faire mieux. »

Dans le domaine de l’IA, les grandes entreprises s’efforcent de lancer des modèles d’IA de pointe, et ces documents judiciaires montrent la tension extrême à laquelle Meta est soumise dans cette compétition. Dans plusieurs messages, les dirigeants de l’IA de Meta mentionnent qu’ils sont « très actifs » dans l’acquisition des données nécessaires à l’entraînement de Llama. Un dirigeant a même déclaré : « Llama3 est la seule chose qui m’importe. » Ils ont discuté de la manière d’améliorer les ensembles de données afin d’améliorer les performances de Llama3.

Cependant, le procureur accuse les dirigeants de Meta d’avoir peut-être commis des omissions dans l’utilisation des données, impliquant des livres protégés par le droit d’auteur, dans leur empressement à lancer des modèles d’IA. Touvron a mentionné que la combinaison des ensembles de données de Llama2 était « inefficace » et a exploré la manière d’utiliser de meilleures sources de données pour améliorer Llama3. Al-Dahle a demandé : « Avons-nous les ensembles de données appropriés ? Y a-t-il quelque chose d’inutilisable pour des raisons stupides ? »

Le PDG de Meta, Mark Zuckerberg, avait précédemment déclaré qu’il s’efforçait de réduire l’écart de performance entre les modèles Llama et les modèles propriétaires d’entreprises comme OpenAI et Google. Ces messages internes montrent que Meta subit d’énormes pressions pour atteindre cet objectif. Dans une lettre de juillet 2024, Zuckerberg a mentionné : « Cette année, Llama3 est compétitif parmi les modèles les plus avancés et est même en tête dans certains domaines. »

En avril 2024, Meta a finalement publié Llama3, un modèle d’IA ouvert qui a excellé dans la compétition, surpassant les options ouvertes de Mistral, mais les données utilisées pour l’entraînement de son modèle – données qui auraient été approuvées par Zuckerberg – font l’objet de plusieurs litiges.

Points clés :

🌟 Les dirigeants de Meta se sont concentrés sur le dépassement du modèle GPT-4 d’OpenAI lors du développement de Llama3.

💡 L’entreprise a fait preuve d’une grande activité dans l’acquisition de données, mais elle est accusée d’avoir utilisé des données protégées par des droits d’auteur.

📈 Zuckerberg attend des futurs modèles Llama qu’ils deviennent les plus avancés du secteur.