O framework de aprendizado de máquina de código aberto PyTorch recebeu recentemente a versão oficial 2.8. A liberação desta versão gerou grande expectativa, com destaque para a melhoria no desempenho de raciocínio de modelos de linguagem grandes (LLM), especialmente em CPUs da Intel. Esta atualização não apenas melhorou significativamente a eficiência de raciocínio no modo offline, mas também oferece suporte experimental ao backend distribuído da GPU da Intel pela primeira vez.
Na versão PyTorch 2.8, os desenvolvedores otimizaram algoritmos e introduziram novas tecnologias, aumentando significativamente a velocidade de raciocínio dos LLM quantizados. Especificamente, esta versão suporta vários modos de quantização, incluindo A16W8, DA8W8 e A16W4. Os dados de teste mostram que, quando executando o modelo Llama-3.1-8B nas plataformas Xeon da 6ª geração da Intel, com M=8, K e 32 núcleos, o atraso de ponta a ponta foi reduzido em mais de 20%, com desempenho capaz de competir com alguns frameworks populares de serviços de LLM.
Além disso, outro destaque desta atualização é o suporte experimental à plataforma XCCL como backend distribuído para GPUs discretas da Intel. Essa funcionalidade fornece maior flexibilidade para diferentes modos de treinamento, permitindo que os desenvolvedores explorem o potencial dos modelos em um ambiente mais amplo de hardware.
Além das melhorias nos recursos principais, a versão PyTorch 2.8 inclui uma série de melhorias importantes. Por exemplo, a inclusão do suporte SYCL torna as funções da API de extensão C++ do PyTorch mais ricas, enquanto os dispositivos XPU também receberam suporte ao modo A16W4. Além disso, a equipe de desenvolvimento forneceu uma interface estável para o libtorch ABI, reduzindo problemas de compatibilidade em extensões C++/CUDA de terceiros.
O suporte à ROCm também foi aprimorado, com a inclusão do suporte à arquitetura gfx950, combinado com o TorchInductor e o AOTInductor, fornecendo modelos automáticos de otimização para vários kernels. Além disso, a introdução de operações de fluxo de controle, como decisões condicionais e laços, tornou o compilação e exportação dos modelos mais eficientes.
A liberação da versão PyTorch 2.8 certamente traz mais possibilidades para o campo de aprendizado de máquina e fornece ferramentas mais poderosas aos desenvolvedores, impulsionando a aplicação e o desenvolvimento de modelos de linguagem grandes.
Endereço de download: https://github.com/pytorch/pytorch/releases/tag/v2.8.0