A empresa de tecnologia emergente Anthropic anunciou recentemente que seu modelo altamente aguardado Claude Sonnet4 agora suporta até 1 milhão de tokens de contexto. Antes, a API deste modelo suportava apenas 200 mil tokens. Esta expansão permite que os desenvolvedores enviem mais de 75.000 linhas de código em uma única solicitação, aumentando significativamente a flexibilidade e a conveniência do uso.
Atualmente, o suporte a longo contexto expandido já está disponível para testes públicos na API da Anthropic e no Amazon Bedrock. O Google Cloud Vertex AI também lançará essa funcionalidade em breve. No entanto, essa função de longo contexto está atualmente disponível apenas para desenvolvedores da Tier4 e requer limites de taxa personalizados. A Anthropic afirma que abrirá essa funcionalidade para mais desenvolvedores nas próximas semanas.
Para atender à demanda maior por capacidade computacional de janela de tokens maiores, a Anthropic também lançou um novo plano de preços. Para prompts com menos de 200 mil tokens, o custo do Sonnet4 é de 3 dólares por milhão de tokens de entrada e 15 dólares por milhão de tokens de saída. Para prompts com mais de 200 mil tokens, o custo é de 6 dólares por milhão de tokens de entrada e 22,5 dólares por milhão de tokens de saída. Os desenvolvedores também podem reduzir os custos usando técnicas de cache rápido e processamento em lote, onde o processamento em lote fornece um desconto de 50% no preço para janelas de contexto de 1 milhão.
Na última sessão AMA do Reddit, executivos da OpenAI discutiram a possibilidade de oferecer suporte a janelas de contexto longas para seus modelos. O CEO da OpenAI, Sam Altman, disse que ainda não encontraram uma demanda forte dos usuários por contexto longo, mas considerariam adicionar esse suporte se houver interesse suficiente. Devido às limitações de capacidade computacional, a equipe da OpenAI prefere focar em outros projetos prioritários. Além disso, Michelle Pokrass, membro da equipe da OpenAI, mencionou que eles esperavam suportar contextos de até 1 milhão de tokens no GPT-5, especialmente para aplicações de API, mas não conseguiram realizar isso devido ao alto consumo de GPUs.
A suporte a 1 milhão de tokens da Anthropic cria uma competição direta com o Google Gemini em funções de contexto longo, o que também exerce pressão sobre a OpenAI para reconsiderar sua estratégia de produtos.
Destaque:
🆕 O modelo Claude Sonnet4 da Anthropic agora suporta até 1 milhão de tokens de contexto, aumentando significativamente a flexibilidade do desenvolvimento.
💰 Novo plano de preços foi lançado, com custos diferentes para prompts com menos ou mais de 200 mil tokens; os desenvolvedores podem reduzir custos com processamento em lote.
🤖 A OpenAI está atenta à demanda por contexto longo e pode ajustar sua estratégia de produtos para enfrentar a concorrência no futuro.
