Evals 相关的热门 GitHub AI项目仓库

人工智能可观测性和评估

用于AI智能体监控、大语言模型成本追踪、基准测试等的Python软件开发工具包（SDK）。它与大多数大语言模型和智能体框架集成，包括OpenAI Agents SDK、CrewAI、Langchain、Autogen、AG2和CamelAI。

微调大型语言模型、生成合成数据和协作构建数据集最简单的工具。

UpTrain是一个开源的统一平台，用于评估和改进生成式AI应用程序。我们提供20多种预配置检查的评分（涵盖语言、代码、嵌入式用例），对失败案例进行根本原因分析，并提供如何解决问题的见解。

Evaluate your LLM-powered apps with TypeScript

RAGLite是一个Python工具包，用于基于PostgreSQL或SQLite数据库的检索增强生成 (RAG) 。

Text analytics for LLM apps. Cluster messages to detect use cases, outliers, power users. Detect intents and run evals with LLM (OpenAI, MistralAI, Ollama, etc.)

OSS RL environment + evals toolkit

Code Repository for: AIRTBench: Measuring Autonomous AI Red Teaming Capabilities in Language Models

通过批量测试不同的模型和提示词，开发更优秀的LLM应用程序。

Open-source toolkit for responsible AI: CLI + SDK to scan code, collect evidence, and generate model cards, risk files, evals, and RAG indexes.

一个用于评估检索增强生成 (RAG) 系统的库（传统方法）

Evaluate and compare AI language models on coding tasks with Evals. Run structured tests, integrate usage rules, and generate detailed reports. ??

Go人工智能（GAI）帮助你使用基础模型、大型语言模型和其他人工智能模型。

对Anthropic公司关于“模型评估的统计方法”的论文和文章的实现

Open source framework for evaluating AI Agents

A TypeScript library for enabling AI Agents to communicate with each other in structured conversations.

我们比较了LangChain、Fixie和Marvin这三个工具。

Analyze and generate unstructured data using LLMs, from quick experiments to billion token jobs.

EvalView: pytest-style test harness for AI agents - YAML scenarios, tool-call checks, cost/latency & safety evals, CI-friendly reports