O torchao é uma biblioteca do PyTorch focada em tipos de dados e otimizações personalizadas, suportando quantização e esparsificação de pesos, gradientes, otimizadores e funções de ativação para inferência e treinamento. Ele é compatível com torch.compile() e FSDP2, fornecendo aceleração para a maioria dos modelos PyTorch. O torchao visa melhorar a velocidade de inferência e a eficiência da memória dos modelos por meio de técnicas como treinamento de quantização consciente (QAT) e quantização pós-treinamento (PTQ), minimizando a perda de precisão.