A Alibaba lançou recentemente seu novo modelo de arquitetura Qwen3-Next-80B-A3B, marcando um importante avanço na área de conteúdo gerado por inteligência artificial (AIGC). O modelo inovou em mecanismos de atenção híbridos, modelos de especialistas de alta raridade (MoE) e métodos de treinamento, demonstrando melhorias significativas no desempenho.
O Qwen3-Next possui um total de 80 bilhões de parâmetros, mas ativa apenas 30 bilhões durante a inferência, reduzindo o custo de treinamento em 90% em comparação com seu antecessor Qwen3-32B. Além disso, sua eficiência de inferência foi aumentada 10 vezes, especialmente em textos muito longos (acima de 32K). Isso permite que o Qwen3-Next seja comparável ou até mesmo supere o modelo principal da Alibaba, Qwen3-235B, especialmente em tarefas de execução de instruções e processamento de contexto longo, superando até mesmo o novo modelo de pensamento Gemini-2.5-Flash da Google.
A inovação central do modelo está na arquitetura de especialistas híbridos, combinando DeltaNet controlado por portas e atenção controlada por portas. Com esse design, o Qwen3-Next superou as limitações dos mecanismos de atenção tradicionais no tratamento de contextos longos, garantindo velocidade e melhorando a capacidade de aprendizado contextual. Durante o treinamento, o modelo utilizou uma estrutura MoE de alta raridade, maximizando o uso de recursos sem afetar o desempenho.
Além disso, o Qwen3-Next introduziu um mecanismo de previsão de múltiplos tokens, melhorando o desempenho do modelo em decodificação especulativa. Na fase de pré-treinamento, a eficiência do Qwen3-Next foi significativamente maior do que a do Qwen3-32B, com custo de treinamento apenas 9,3% do anterior, mas com desempenho superior. Em termos de velocidade de inferência, o Qwen3-Next teve um aumento de 7 vezes na taxa de throughput ao lidar com textos longos em comparação com o Qwen3-32B, mantendo uma vantagem de 10 vezes mesmo em contextos ainda mais longos.
O novo modelo da Alibaba não apenas alcançou avanços tecnológicos, mas também recebeu amplo reconhecimento e elogios, especialmente entre desenvolvedores e pesquisadores. Seja em inovação tecnológica ou competitividade no mercado, o Qwen3-Next marca uma nova liderança da Alibaba na área de inteligência artificial.
Experimente online: https://chat.qwen.ai/
Endereço do código aberto: https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d
Principais pontos:
🌟 O modelo Qwen3-Next-80B-A3B tem 80 bilhões de parâmetros, o custo de treinamento caiu 90% e a eficiência de inferência subiu 10 vezes.
🔍 O novo modelo adota uma arquitetura de especialistas híbridos e um mecanismo de previsão de múltiplos tokens, melhorando significativamente a capacidade de processamento de contexto.
🚀 Em termos de velocidade de inferência, o Qwen3-Next se destaca em cenários de textos muito longos, com taxa de throughput 7 a 10 vezes maior do que o modelo anterior.
