联合国成立人工智能安全国际科学专家组,旨在通过国际合作提供AI治理专业指导。中国两位顶尖科学家入选首批专家,彰显全球协同应对AI风险的努力。
AI浏览器插件普及,但隐私风险加剧。研究显示超半数Chrome AI插件收集用户数据,近三分之一获取个人身份信息。
近期走红的AI智能体OpenClaw因自动化能力受关注,但被曝存在安全漏洞。攻击者利用其技能文件机制,针对macOS用户发起恶意软件攻击。该工具旨在自动化处理邮件等事务,却因学习文件漏洞成为黑客突破口。
印尼有条件解禁X平台聊天机器人Grok,成为东南亚首个对其解禁的国家。此前因担忧AI生成色情内容风险而实施禁令,现因X公司承诺加强合规措施而解除。
免费AI音乐生成器,可将文本转8分钟专业音乐,无版权风险
Snowglobe帮助AI团队在规模上测试LLM应用。在推出之前模拟真实对话,发现风险并提高模型性能。
Enzzo AI是一款AI驱动的PRD解决方案,压缩产品需求文档,生成需求,减轻风险,促进团队协作,提高效率。
Polymer DSPM for AI提供实时数据可见性,自适应DLP控制和自动数据消除,以阻止风险变为泄震前的突破。
Xai
$1.4
Input tokens/M
$3.5
Output tokens/M
2k
Context Length
Anthropic
$105
$525
200
Google
$0.7
$2.8
1k
$7
$35
$2.1
$17.5
$21
Alibaba
-
Baidu
128
$6
$24
256
Bytedance
$1.2
$3.6
4
$2
$3.9
$15.2
64
GeneralAnalysis
GA Guard Lite是General Analysis开发的轻量级开源审核模型,专门用于检测语言模型输出中的违规内容。该模型能够识别七类安全风险,包括非法活动、仇恨言论、个人信息泄露等,为AI应用提供高效的内容安全防护。
Mungert
Granite Guardian 3.2 5B是IBM开发的AI风险检测模型,专门用于检测提示和响应中的多种安全风险。该模型基于IBM AI风险图谱,能够识别伤害、社会偏见、越狱、暴力等多种风险类型,是企业级AI安全监控的重要工具。
unsloth
MAI-DS-R1 是 DeepSeek-R1 推理模型,经过微软 AI 团队的后续训练,以提升其在受限话题上的响应能力并优化其风险表现,同时保持其推理能力和竞争性能。
microsoft
MAI-DS-R1是微软AI团队对DeepSeek-R1推理模型进行后训练的成果,旨在提升其对敏感话题的响应能力并优化风险表现,同时保持原有的推理能力和竞争优势。
MAI-DS-R1是微软AI团队对DeepSeek-R1推理模型进行后训练的成果,旨在提升其对敏感话题的响应能力并优化风险表现,同时保持原有推理能力和竞争优势。
ibm-granite
Granite Guardian 3.1 2B是一个经过微调的Granite 3.1 2B指令模型,旨在检测提示和响应中的风险。它可以依据IBM AI风险图谱中列出的多个关键维度进行风险检测。
prem-research
Prem-1B-SQL是由Prem AI开发的首个全本地文本到SQL模型系列之一,拥有10亿参数,专为低配置GPU设备设计,量化后可在CPU上运行。该模型优先考虑本地化部署,避免数据安全风险,适用于企业级SQL查询生成。
aimagelab
Safe-CLIP 是一种增强的视觉与语言模型,旨在降低AI应用中不适宜工作内容(NSFW)带来的风险。
Safe-CLIP 是基于 CLIP 模型的增强型视觉与语言模型,旨在降低 AI 应用中与 NSFW(不适合工作场所)内容相关的风险。
Maccy剪贴板MCP服务器是一个将Maccy剪贴板历史暴露给Claude等AI助手的服务工具,支持搜索、查看、管理剪贴板内容,包含图像支持与数据统计功能,但需注意敏感数据泄露风险。
MCP Fortress是一个为Model Context Protocol(MCP)服务器设计的综合安全工具,提供自动化漏洞扫描、运行时防护、风险评分和威胁检测功能,支持通过MCP服务器模式与Claude Code等AI助手集成进行安全分析。
Rug-Check-MCP是一个MCP服务器项目,用于检测Solana迷因币的潜在风险,帮助AI代理避免拉地毯骗局和不安全项目。它通过Solsniffer API获取代币数据,提供包括名称、符号、风险评分、市值、价格、供应量、风险详情和审计状态在内的结构化分析结果。
Korx Share MCP Server是一个多功能MCP协议服务器,通过与korx.org API集成,为AI生成的视觉内容(如图表、仪表盘和HTML页面)创建安全可分享的URL,同时保持内容交互性并进行风险过滤。
Octagon VC Agents是一个运行AI驱动的风险投资家代理的MCP服务器,模拟知名风投(如Fred Wilson、Peter Thiel等)的投资思维,结合Octagon Private Markets的实时交易、估值和深度研究数据,用于提供融资反馈、尽职调查模拟、条款谈判等可编程的“风投大脑”服务。
Octagon VC Agents是一个运行AI驱动的风险投资家代理的MCP服务器,模拟知名风投(如Fred Wilson、Peter Thiel等)的投资思维,结合Octagon Private Markets的实时交易数据和深度研究情报,用于提供融资反馈、尽职调查模拟、条款谈判等服务。
DeRisk是一个AI原生的风险智能管理系统,提供7*24小时全面深入的应用系统风险防护,基于开源社区协作开发的模块化框架,专注于风险与数据领域的能力衍生。
Trellis MCP是一个连接AI助手与Trellis 3D生成模型的接口服务,支持通过自然语言快速生成3D资产并导入Blender。该项目基于开源模型,需自行部署API后端,具有快速、免费的特点,但存在稳定性风险。
该项目通过extendable-agents演示了AI代理工具使用的安全风险,特别是MCP协议下工具共享可能带来的敏感信息泄露问题,并提供了安全使用建议。
VulniCheck是一个AI驱动的安全扫描器,为Python项目和GitHub仓库提供全面的安全分析。它作为基于Docker的HTTP MCP服务器运行,支持标准HTTP流式传输,提供容器化部署和全面的漏洞扫描功能,包括依赖项检查、密钥检测、Docker文件分析和AI风险评估。
Omen是一款AI代码分析CLI工具,通过复杂度分析、技术债务检测、依赖图、热点分析等多项指标,为AI助手提供代码库上下文,帮助预测缺陷和识别风险。
MonteWalk是一个基于MCP协议的机构级量化交易工具服务器,为AI助手提供实时市场数据、投资组合管理、风险分析和回测功能,包含25+工具和6个智能工作流,通过Gradio 6界面提供专业交易终端体验。
Memoria是一个MCP服务器,通过分析Git历史记录来揭示代码文件之间的隐藏依赖关系,防止AI在重构代码时破坏功能。它完全在本地运行,无需上传代码到云端,通过检测文件之间的耦合关系、风险评分和过时依赖来确保代码修改的安全性。
Lilith Shell是一个增强型MCP服务器,允许AI助手在终端执行命令,提供安全控制和测试功能。需在虚拟机或可重置的开发环境中使用,存在安全风险。
基于OWASP ZAP和Google Gemini AI的认知动态应用安全测试自动化系统,通过MCP协议集成AI分析,提供自动化扫描、智能风险评估和多种格式报告输出。
行为预测MCP服务器提供AI驱动的工具,用于分析钱包行为预测、欺诈检测和拉地毯骗局预测,帮助保护DeFi用户并监控流动性风险
这是一个连接AI助手与实时加密市场数据的MCP服务器,提供价格、波动性、异常检测、相关性分析和挖矿风险监控等功能。
PitchLense MCP是一个专业的AI驱动创业公司风险评估工具包,通过多维度风险分析(市场、产品、团队、财务等)为投资决策提供全面评估,支持MCP协议集成和多种使用方式。
Allstacks MCP服务器是一个提供全面Allstacks API访问的模型上下文协议服务,通过HTTP基本认证支持208+个工具,涵盖指标分析、工作项管理、用户团队、组织项目、仪表板、员工分析、预测规划、标签管理、警报监控、AI智能、工作包和风险管理等12个类别。
HowRisky MCP服务器为AI代理提供机构级蒙特卡洛风险分析,包含投资组合风险、初创企业股权、房地产、凯利准则等多种金融建模工具,支持多种AI桌面应用集成。