Prometheus-Eval ist ein Open-Source-Toolset zur Bewertung der Leistung großer Sprachmodelle (LLMs) bei Generierungsaufgaben. Es bietet eine einfache Schnittstelle, die das Prometheus-Modell zur Bewertung von Anweisungen und Antworten verwendet. Das Prometheus-2-Modell unterstützt die direkte Bewertung (absolute Bewertung) und das paarweise Ranking (relative Bewertung). Es simuliert menschliche Beurteilungen und proprietäre, auf Sprachmodellen basierende Bewertungen und löst Probleme hinsichtlich Fairness, Kontrollierbarkeit und Wirtschaftlichkeit.