随着企业越来越多地部署自主运行的 AI 代理系统，对这些复杂系统的监控与调试需求也迅速增长。总部位于旧金山的 AI 安全公司 Patronus AI 今日发布了其最新产品 Percival，一个能够自动识别 AI 代理系统中故障模式并提出修复建议的监控平台。“Percival 是业界首个可以自动追踪代理轨迹、识别复杂故障，并系统化输出修复建议的智能代理。” Patronus AI CEO 兼联合创始人 Anand Kannappan 在接受 VentureBeat 独家采访时表示。解决 AI 代理“不可控”的现实挑战与传统机器学习不同，AI 代理能够自主执行
在人工智能迅速发展的今天，AI “幻觉” 现象愈加频繁，给许多企业带来了不小的困扰。客户服务聊天机器人自信地描述不存在的产品，金融 AI 编造市场数据，医疗机器人则提供危险的医疗建议。这些问题不再是单纯的趣事，而是正在影响公司声誉与盈利的重大隐患。为了应对这一挑战，位于旧金山的初创公司 Patronus AI 宣布推出全球首个自助服务平台，旨在实时检测和防止 AI 系统出现故障。这个平台就像是 AI 系统的 “拼写检查器”，可以在问题发生前将其捕捉到。Patronus AI 的首席执行
["Patronus AI发布版权检测工具","OpenAI的GPT-4被指侵权问题最为严重","微软工程师指出AI图像生成工具可能对社会构成危险"]
["Patronus AI发布SimpleSafetyTests测试套件，揭示ChatGPT等AI系统存在关键安全漏洞。","测试覆盖自杀、儿童虐待和身体伤害等五个高优先级危害领域，揭示了11个LLMs中的严重弱点。","强调安全的系统提示可减少不安全响应，但结果显示生产系统可能需要额外的保障。","测试结果表明在处理真实世界应用之前，LLMs需要严格而定制的安全解决方案，通过基本测试是第一步。"]
Xai
$1.4
输入tokens/百万
$3.5
输出tokens/百万
2k
上下文长度
Anthropic
$105
$525
200
Google
$0.7
$2.8
1k
$7
$35
$2.1
$17.5
$21
Alibaba
-
$6
$24
256
Baidu
128
Bytedance
$1.2
$3.6
4
$2
$3.9
$15.2
64
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
