Monitoring 相关的热门 GitHub AI项目仓库

开源大语言模型工程平台：提供大模型可观测性、指标监控、评估、提示词管理、测试环境和数据集。集成OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具。YC W23项目。

适用于Agent AI可观测性、监控和评估框架的Python SDK。其功能包括代理、LLM和工具追踪，多代理系统调试，自托管仪表盘以及带有时间线和执行图视图的高级分析。

DataTalks.Club提供的免费MLOps课程

CLI tool for configuring and monitoring Claude Code

人工智能可观测性和评估

Evidently是一个开源的机器学习（ML）和大型语言模型（LLM）可观测性框架。它可以评估、测试和监控任何人工智能系统或数据管道，从表格数据到生成式AI，提供100多种指标。

Real-time Claude Code usage monitor with predictions and warnings

Next-generation AI Agent Optimization Platform: Cozeloop addresses challenges in AI agent development by providing full-lifecycle management capabilities from development, debugging, and evaluation to monitoring.

开源大型语言模型可观测性平台，只需一行代码即可监控、评估和实验（Y Combinator 2023 年冬季批次项目）

令人惊艳的状态页面，包含所有必要组件！

Deepchecks：持续验证机器学习模型和数据的测试工具。Deepchecks 是一款全面的开源解决方案，满足您所有 AI 和 ML 验证需求，使您能够从研究到生产阶段彻底测试数据和模型。

开源的 AIOps 和告警管理平台

一个开源的LLMOps平台，集提示词playground、提示词管理、LLM评估和LLM可观测性于一体。

Python机器学习和数据科学的调试、监控和可视化

一个开源、开发者优先的大语言模型 (LLM) 操作平台，旨在简化提示工程设计、版本管理、即时交付、协作、故障排除、可观察性等多个方面。

A AI-Driven, Distributed and high-performance monitoring system, for comprehensive monitoring and management of kafka cluster.

AllinSSL 是一个集证书申请、管理、部署和监控于一体的SSL证书全生命周期管理工具。AllinSSL is an all-in-one SSL certificate lifecycle management tool that integrates certificate application, management, deployment, and monitoring.

更智能的 Kubernetes Prometheus 报警：智能分组、AI 增强和自动修复

Laminar：一个开源的一体化平台，用于构建人工智能产品。为你的人工智能应用创建数据飞轮。包含追踪、评估、数据集和标签功能。YC S24项目。

UpTrain是一个开源的统一平台，用于评估和改进生成式AI应用程序。我们提供20多种预配置检查的评分（涵盖语言、代码、嵌入式用例），对失败案例进行根本原因分析，并提供如何解决问题的见解。