BiTA

BiTA बड़े भाषा मॉडल के लिए एक द्विदिशीय समायोजन विधि है, जो सरलीकृत अर्ध-स्वप्रेरणात्मक उत्पादन और प्रारूप सत्यापन के माध्यम से बड़े भाषा मॉडल को तेज करती है। BiTA एक हल्के प्लग-इन मॉड्यूल के रूप में, मौजूदा बड़े भाषा मॉडल की अनुमान दक्षता को बिना किसी अतिरिक्त सहायक मॉडल या महत्वपूर्ण अतिरिक्त मेमोरी लागत के, निर्बाध रूप से बढ़ा सकता है। BiTA को लागू करने के बाद, LLaMA-2-70B-Chat ने MT-Bench बेंचमार्क परीक्षण में 2.7 गुना तेजी हासिल की है। व्यापक प्रयोगों ने पुष्टि की है कि हमारा तरीका सबसे उन्नत त्वरण तकनीकों से आगे निकल गया है।