DeepEval est un framework d'évaluation et de tests unitaires pour les applications de modèles linguistiques. Il fournit divers indicateurs permettant de tester les réponses générées par les applications de modèles linguistiques en termes de pertinence, de cohérence, d'absence de biais et d'innocuité.
La méthode d'évaluation hors ligne de DeepEval est simple et facile à utiliser, et peut être rapidement intégrée aux pipelines existants. Il offre plusieurs indicateurs d'évaluation intégrés et prend en charge les indicateurs d'évaluation personnalisés. Grâce à l'interface utilisateur Web de DeepEval, les ingénieurs peuvent facilement visualiser et analyser leurs résultats d'évaluation.