SakanaAI/self-adaptive-llms est un framework adaptatif nommé Transformer², conçu pour résoudre les défis liés à la complexité calculatoire des méthodes traditionnelles d'ajustement fin et à la rigidité de leur capacité à gérer des tâches diversifiées. Ce framework permet d'ajuster en temps réel les LLM lors de l'inférence grâce à un mécanisme en deux étapes : d'abord, le système d'ordonnancement identifie les attributs de la tâche ; ensuite, des vecteurs 'experts' spécifiques à la tâche, entraînés par apprentissage par renforcement, sont mélangés dynamiquement pour obtenir le comportement cible en fonction de l'invite d'entrée. Les principaux avantages incluent l'adaptabilité en temps réel aux tâches, l'efficacité computationnelle et la flexibilité. Ce projet, développé par l'équipe SakanaAI, est actuellement open source sur GitHub, avec 195 étoiles et 12 forks.