RouteLLM est un framework pour le routage et l'évaluation des grands modèles de langage (LLM). Il optimise les coûts en acheminant intelligemment les requêtes vers des modèles offrant différents coûts et performances, permettant ainsi de réduire les dépenses tout en maintenant la qualité des réponses. Il fournit des routeurs prêts à l'emploi et a démontré des réductions de coûts allant jusqu'à 85 % et des performances équivalentes à 95 % de celles de GPT-4 lors de tests de référence largement utilisés.