Qwen1.5-32B

Qwen1.5 ट्रांसफॉर्मर आर्किटेक्चर पर आधारित एक डिकोडर भाषा मॉडल श्रृंखला है, जिसमें विभिन्न आकार के मॉडल शामिल हैं। इसमें SwiGLU सक्रियण, ध्यान QKV पूर्वाग्रह, समूह क्वेरी ध्यान आदि विशेषताएँ हैं। यह कई प्राकृतिक भाषाओं और कोड का समर्थन करता है। SFT, RLHF आदि जैसे बाद के प्रशिक्षण की अनुशंसा की जाती है। मूल्य मुफ़्त है।