Q-RWKV-6 32B Instruct - Aperçu est la dernière variante de modèle RWKV développée par Recursal AI. Elle surpasse tous les modèles RWKV, State Space et Liquid AI précédents sur plusieurs benchmarks en anglais. Ce modèle a été créé en convertissant les poids du modèle Qwen 32B Instruct vers une architecture QRWKV-6 personnalisée, remplaçant les têtes d'attention Transformer existantes par des têtes d'attention RWKV-V6. Ce processus a été développé conjointement par l'équipe Recursal AI, RWKV et la communauté open source EleutherAI. Ses principaux avantages incluent une réduction significative des coûts de calcul à grande échelle et l'utilisation d'une technologie IA open source respectueuse de l'environnement.