torchao ist eine PyTorch-Bibliothek, die sich auf benutzerdefinierte Datentypen und Optimierungen konzentriert und die Quantisierung und Verdünnung von Gewichten, Gradienten, Optimierern und Aktivierungsfunktionen für Inferenz und Training unterstützt. Sie ist kompatibel mit torch.compile() und FSDP2 und kann die Geschwindigkeit der meisten PyTorch-Modelle verbessern. torchao zielt darauf ab, die Inferenzgeschwindigkeit und die Speeffizienz von Modellen durch Techniken wie quantisierungsbewusstes Training (QAT) und Post-Training-Quantisierung (PTQ) zu verbessern, während gleichzeitig der Genauigkeitsverlust so gering wie möglich gehalten wird.