RouteLLM ist ein Framework zum Bereitstellen und Bewerten von Routern für große Sprachmodelle (LLMs). Es senkt die Kosten, indem es Anfragen intelligent an Modelle mit unterschiedlichen Kosten und Leistungsmerkmalen weiterleitet, und bewahrt gleichzeitig die Qualität der Antworten. Es bietet sofort einsatzbereite Router und zeigt in weit verbreiteten Benchmarks eine Kostenreduktion von bis zu 85 % und eine GPT-4-Leistung von 95 %.