AI网关初创公司LiteLLM宣布移除争议工具Delve,以回应社区对数据隐私和模型透明度的质疑,试图挽回用户信任。该工具原用于优化提示词分析,但被指在处理敏感数据时存在隐患。
LiteLLM因安全漏洞终止与合规公司Delve合作,将转投竞争对手进行安全认证。此前其开源版本遭恶意软件攻击,暴露出Delve在安全审计中的失职,引发行业对AI基础设施合规性的担忧。
AI漫剧规模化生产面临三大挑战:多模型协同难,涉及数十个模型联调,接口维护成本高;云端处理延迟大,影响生成效率;成本控制压力大,制约产业发展。
大模型网关作为“智能交通枢纽”,旨在高效管理激增的AI API流量,解决企业接入和管理多源AI模型的挑战。它统一处理不同提供商的异构接口与数据格式,避免各部门重复建设,从而减少资源浪费与技术碎片化,保障企业顺畅使用各类AI模型。
CodingPlanX:一个API接入600+AI模型,降本增效,稳定快速。
一个插件化网关,旨在优化 AI 基础设施的管理和安全。
开源的GenAI应用网关,快速构建个性化的AI应用
开源AI网关和开发者门户,轻松管理、集成和部署AI服务。
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Anthropic
$105
$525
200
Google
$0.7
$2.8
1k
$7
$35
$2.1
$17.5
$21
Alibaba
-
Baidu
128
$6
$24
256
Bytedance
$1.2
$3.6
4
$2
$3.9
$15.2
64
MCPJungle是一个自托管的MCP网关,用于集中管理和代理多个MCP服务器,为AI代理提供统一的工具访问接口。
Nexus是一个AI工具聚合网关,支持连接多个MCP服务器和LLM提供商,通过统一端点提供工具搜索、执行和模型路由功能,支持安全认证和速率限制。
MCP Gateway是一个先进的AI基础设施中间件解决方案,作为模型上下文协议(MCP)服务器的代理网关,提供统一接口、敏感信息过滤和生命周期管理功能。
HiMarket是一个开箱即用的企业级AI开放平台解决方案,提供管理后台、开发者门户和AI网关三大核心组件,支持将模型服务、MCP Server等AI能力打包成标准化API产品并发布。
Axone的MCP服务器是一个轻量级实现,通过标准化的模型上下文协议(MCP)暴露Axone的能力,作为AI工具访问数据宇宙的网关。
Nchan MCP Transport是一个高性能的WebSocket/SSE传输层和网关,专为Anthropic的MCP(模型上下文协议)设计,支持实时、可扩展的AI集成。
Razorpay MCP服务器是一个连接Razorpay支付网关与AI助手的中间件,通过标准化的Model Context Protocol接口,使AI助手能够直接访问Razorpay账户数据。
多集群MCP服务器为生成式AI系统提供与多个Kubernetes集群交互的网关,支持资源操作、集群管理和监控。
Kong Konnect MCP服务器是一个用于与Kong Konnect API交互的模型上下文协议服务,使AI助手能够查询和分析Kong网关配置、流量和统计数据。
使用Azure API Management作为MCP服务器的AI网关,实现远程MCP服务器的安全访问,支持最新的MCP授权规范。
使用Azure API Management作为AI网关,通过Azure Functions实现远程MCP服务器的安全访问,遵循最新的MCP授权规范。
Meta API MCP Server是一个支持多API的网关服务器,通过Model Context Protocol (MCP)协议连接各类API与大型语言模型(如Claude、GPT等),使AI助手能够直接与API交互并访问真实数据源。支持从JSON配置文件或Postman集合快速添加API,提供HTTP方法全面支持和多种认证方式。
plugged.in MCP代理服务器是一个中间件,可将多个模型上下文协议(MCP)服务器聚合为统一接口,通过plugged.in生态系统提供高级管理功能,支持多种MCP客户端并实现智能请求路由。
Preloop是一个用于AI代理的全面MCP防火墙和策略引擎,提供访问控制、审批工作流、审计追踪和AI模型网关等功能,实现对AI代理行为的完全管控。
该项目是一个专为大型语言模型(LLMs)和其他AI代理设计的服务器工具,用于安全地与电子健康记录(EHRs)交互。它通过SMART on FHIR标准实现安全数据访问,并利用模型上下文协议(MCP)提供工具集,作为AI与多样化EHR系统之间的安全网关和工具包。
Masumi MCP Server是连接AI客户端与Masumi网络的网关,提供去中心化的代理发现、雇佣、监控和支付系统服务。
Enkrypt AI Secure MCP Gateway是一个安全的MCP网关,提供认证、自动工具发现、缓存和护栏执行功能。它位于MCP客户端和MCP服务器之间,充当MCP服务器和客户端的双重角色。
Kong Konnect MCP服务器是一个用于与Kong Konnect API交互的模型上下文协议服务,允许AI助手查询和分析Kong网关配置、流量和统计数据。
mcp-gateway-go是一个基于Go的轻量级网关,可将标准输入输出的MCP服务器转换为SSE端点,实现与客户端(如浏览器或AI代理)的实时HTTP通信。
Pincer-MCP是一个安全加固的MCP网关,通过代理令牌架构保护AI代理的API密钥安全,确保代理只能使用代理令牌而无法接触真实密钥,支持多种AI服务和GPG签名工具。