La jeune entreprise d'intelligence artificielle Anthropic a récemment annoncé que son modèle de langage Claude Sonnet4, très attendu, prend désormais en charge jusqu'à 1 million de mots contextuels. Auparavant, l'API de ce modèle ne supportait que 200 000 mots. Cette extension permet aux développeurs d'envoyer plus de 75 000 lignes de code dans une seule demande, ce qui améliore considérablement la flexibilité et la commodité d'utilisation.
Actuellement, le support étendu du long contexte est déjà disponible pour des tests publics sur l'API d'Anthropic et sur Amazon Bedrock. Google Cloud Vertex AI lancera également cette fonctionnalité prochainement. Cependant, cette fonctionnalité de long contexte est actuellement limitée aux développeurs du niveau Tier4 et nécessite des limites de taux personnalisées. Anthropic indique qu'elle ouvrira cette fonctionnalité à plus de développeurs au cours des prochaines semaines.
Pour répondre aux besoins accrus en capacité de calcul liés à une fenêtre de mots plus grande, Anthropic a également lancé un nouveau plan tarifaire. Pour les prompts inférieurs à 200 000 mots, le coût de Sonnet4 est de 3 dollars par million de mots d'entrée et de 15 dollars par million de mots de sortie. Pour les prompts supérieurs à 200 000 mots, le coût est de 6 dollars par million de mots d'entrée et de 22,5 dollars par million de mots de sortie. Les développeurs peuvent également réduire les coûts en utilisant des techniques de mise en cache rapide et de traitement par lots, avec une réduction de 50 % sur le prix pour une fenêtre de contexte de 1 million de mots.
Lors d'une récente session AMA sur Reddit, des dirigeants d'OpenAI ont discuté de la possibilité de prendre en charge des fenêtres de contexte longues pour leurs modèles. Le PDG d'OpenAI, Sam Altman, a déclaré qu'ils n'avaient pas encore constaté une forte demande des utilisateurs pour le contexte long, mais qu'ils envisageraient d'ajouter ce support s'il y avait suffisamment d'intérêt. En raison des contraintes liées aux capacités de calcul, l'équipe d'OpenAI souhaite se concentrer sur d'autres projets prioritaires. Michelle Pokrass, membre de l'équipe d'OpenAI, a également mentionné qu'ils espéraient initialement prendre en charge un contexte allant jusqu'à 1 million de mots dans GPT-5, notamment pour les applications API, mais que cela n'avait pas été possible en raison d'une demande excessive de GPU.
Le support de 1 million de mots contextuels d'Anthropic place directement la société en concurrence avec Google Gemini, ce qui pousse OpenAI à reconsidérer sa feuille de route produit.
Points clés :
🆕 Le modèle Claude Sonnet4 d'Anthropic prend désormais en charge jusqu'à 1 million de mots contextuels, offrant une grande flexibilité aux développeurs.
💰 Un nouveau plan tarifaire a été introduit, avec des frais différents pour les prompts inférieurs ou supérieurs à 200 000 mots. Les développeurs peuvent réduire les coûts grâce au traitement par lots.
🤖 OpenAI surveille la demande pour les fenêtres de contexte longues et pourrait ajuster sa feuille de route produit en conséquence.