LLMonitor est une plateforme d'observabilité, d'analyse et de test pour les applications LLM (modèles linguistiques). Elle enregistre les journaux d'appels, les indicateurs et le suivi des LLM, prend en charge l'évaluation des conversations et la relecture des historiques de chat, contribuant ainsi à optimiser les performances et à maîtriser les coûts des applications IA. LLMonitor offre des fonctionnalités de surveillance des journaux, d'analyse des performances, de suivi des erreurs, d'enregistrement des conversations utilisateur et de collecte des commentaires utilisateur. Elle convient à divers scénarios de développement IA, notamment les agents et les chatbots.