隨着企業越來越多地部署自主運行的 AI 代理系統，對這些複雜系統的監控與調試需求也迅速增長。總部位於舊金山的 AI 安全公司 Patronus AI 今日發佈了其最新產品 Percival，一個能夠自動識別 AI 代理系統中故障模式並提出修復建議的監控平臺。“Percival 是業界首個可以自動追蹤代理軌跡、識別複雜故障，並系統化輸出修復建議的智能代理。” Patronus AI CEO 兼聯合創始人 Anand Kannappan 在接受 VentureBeat 獨家採訪時表示。解決 AI 代理“不可控”的現實挑戰與傳統機器學習不同，AI 代理能夠自主執行
在人工智能迅速發展的今天，AI “幻覺” 現象愈加頻繁，給許多企業帶來了不小的困擾。客戶服務聊天機器人自信地描述不存在的產品，金融 AI 編造市場數據，醫療機器人則提供危險的醫療建議。這些問題不再是單純的趣事，而是正在影響公司聲譽與盈利的重大隱患。爲了應對這一挑戰，位於舊金山的初創公司 Patronus AI 宣佈推出全球首個自助服務平臺，旨在實時檢測和防止 AI 系統出現故障。這個平臺就像是 AI 系統的 “拼寫檢查器”，可以在問題發生前將其捕捉到。Patronus AI 的首席執行
["Patronus AI發佈版權檢測工具","OpenAI的GPT-4被指侵權問題最爲嚴重","微軟工程師指出AI圖像生成工具可能對社會構成危險"]
["Patronus AI發佈SimpleSafetyTests測試套件，揭示ChatGPT等AI系統存在關鍵安全漏洞。","測試覆蓋自殺、兒童虐待和身體傷害等五個高優先級危害領域，揭示了11個LLMs中的嚴重弱點。","強調安全的系統提示可減少不安全響應，但結果顯示生產系統可能需要額外的保障。","測試結果表明在處理真實世界應用之前，LLMs需要嚴格而定製的安全解決方案，通過基本測試是第一步。"]
Anthropic
$105
輸入tokens/百萬
$525
輸出tokens/百萬
200
上下文長度
Google
$0.7
$2.8
1k
$7
$35
$2.1
$17.5
$21
Alibaba
$6
$24
256
Baidu
-
128
Bytedance
$1.2
$3.6
4
$2
$3.9
$15.2
64
$0.8
$0.15
$1.5
32
Deepseek
$4
$12
Tencent
$1
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%23061b40;%20}%20.st1%20{%20fill:%20%23306af1;%20}%20.st2%20{%20fill:%20%235ce5cf;%20}%20%3c/style%3e%3c/defs%3e%3cg%3e%3cpath%20class='st0'%20d='M55,10.5h9v3h-9v9h12V7.5h-12v3ZM64,19.5h-6v-3h6v3Z'/%3e%3cpolygon%20class='st0'%20points='69%2016.5%2078%2016.5%2078%2019.5%2069%2019.5%2069%2022.5%2081%2022.5%2081%2013.5%2072%2013.5%2072%2010.5%2081%2010.5%2081%207.5%2069%207.5%2069%2016.5'/%3e%3cpolygon%20class='st0'%20points='95%2010.5%2095%207.5%2083%207.5%2083%2022.5%2095%2022.5%2095%2019.5%2086%2019.5%2086%2016.5%2095%2016.5%2095%2013.5%2086%2013.5%2086%2010.5%2095%2010.5'/%3e%3cpath%20class='st0'%20d='M40,1.5v21h11.6l1.4-1.4v-7.6h0c0,0-1.4-1.5-1.4-1.5l1.4-1.4V2.9l-1.4-1.4h-11.6ZM50,19.5h-7v-6h7v6ZM50,10.5h-7v-6h7v6Z'/%3e%3c/g%3e%3cpath%20class='st1'%20d='M23.1,24L14.7,4.8l-4.9,11.2h3.8l-1.8,4H3.3L12.1,0H2C.9,0,0,.9,0,2v20c0,1.1.9,2,2,2h21.1Z'/%3e%3cpath%20class='st2'%20d='M34,0h-16.8l10.6,24h6.2c1.1,0,2-.9,2-2V2C36,.9,35.1,0,34,0ZM32.5,20h-4V4h4v16Z'/%3e%3c/svg%3e)
