टॉर्चओ

टॉर्चओ पाइथोरच का एक पुस्तकालय है जो कस्टम डेटा प्रकारों और अनुकूलन पर केंद्रित है, जो अनुमान और प्रशिक्षण के लिए मात्रात्मक और विरल वज़न, ढाल, अनुकूलक और सक्रियण कार्यों का समर्थन करता है। यह torch.compile() और FSDP2 के साथ संगत है, जो अधिकांश पाइथोरच मॉडल के लिए त्वरण प्रदान कर सकता है। टॉर्चओ का उद्देश्य मात्रात्मक जागरूक प्रशिक्षण (QAT) और प्रशिक्षण के बाद मात्रात्मक (PTQ) जैसी तकनीकों के माध्यम से मॉडल की अनुमान गति और मेमोरी दक्षता में सुधार करना है, जबकि सटीकता में कमी को कम से कम करना है।