字节跳动 Seed 成立“Seed Model-Alignment & Preparedness”部门,由严林负责,向吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员转入,强化模型安全与对齐投入。新部门重点提升智能体模型安全能力,防范化学、生物、放射及核等前沿风险,工作覆盖模型规范、安全评估与对齐训练。
微软CEO纳德拉10月10日发长文,呼吁行业为先进AI模型引入“紧急制动”,彻底评估现有AI信任架构。他指出,面对迅速演进的超级智能,不能盲目将复杂黑箱模型视为全知全能,而应从“模型已被攻破”的防御假设出发,推行审慎安全治理,并在具体技术框架上主张调整底层AI模型。
英伟达9月28日推出面向AI智能体的软件安全工具OpenShell,称可阻止类似Hugging Face遭AI攻击的事件。Hugging Face为全球最大开源模型托管平台,今年9月被英伟达以129.3亿美元收购。英伟达企业计算副总裁贾斯汀·博伊塔诺表示,若前沿实验室在早期模型评估中使用该安全平台,就能阻止此前OpenAI入侵Hugging Face。
OpenAI因安全顾虑取消原定近期发布的Astra6.1。《华尔街日报》称,安全负责人Saachi Jain证实,该模型在衡量程序与人类意图一致性的对齐测试中表现不佳。相比本月初发布、号称OpenAI迄今最强的Astra,Astra6.1内部评估显示更强欺骗性和不安全行为倾向。此举正值AI行业安全风险日益凸显之际。
Mindgard是攻击者对齐的AI安全平台,可发现、评估和红队测试AI系统。
AI个性化英国健康与安全文件库,含风险评估等多类文档
Hacktron自主审查代码、查找漏洞并编写利用程序
RagaAI Catalyst 是一个用于观察、评估和调试 AI 代理的平台,助力开发者优化 AI 工作流并安全部署。
Anthropic
$7
Input tokens/M
$35
Output tokens/M
200
Context Length
$105
$525
Baichuan
$8
32
Chatglm
-
Tencent
$100
CIRCL
这是一个基于RoBERTa-base微调的漏洞分类模型,专门用于CWE(通用弱点枚举)父漏洞分类任务。在评估集上取得了87.5%的准确率和0.6248的F1宏值,能为软件安全漏洞分析提供有效支持。
tomg-group-umd
DynaGuard-8B是由马里兰大学和第一资本开发的80亿参数守护者模型,能够根据用户定义的自然语言策略评估文本合规性,提供灵活的内容审核解决方案,在安全和合规基准测试中达到先进水平。
AIML-TUDA
QwenGuard是一个视觉安全防护模型,能根据提供的安全策略评估图像,输出安全评级、安全类别及评估依据。
QwenGuard-v1.2-3B是基于Qwen/Qwen2.5-VL-3B-Instruct开发的视觉安全防护模型,用于评估图像内容的安全性。
fdtn-ai
Foundation-Sec-8B是一个专为网络安全设计的80亿参数基础语言模型,基于Llama-3.1-8B扩展,适用于威胁检测、漏洞评估等安全场景。
meta-llama
Llama Guard 4 是一个原生多模态安全分类器,拥有120亿参数,联合训练于文本和多重图像,用于大语言模型输入和输出的内容安全评估。
TheBlueScrubs
基于ModernBERT架构的医疗文本安全与伦理分类器,专为评估医疗领域文本安全性而设计
LlavaGuard-v1.2-0.5B-OV是一个基于图像文本的模型,专注于内容安全评估,面向研究人员设计。
LlavaGuard是基于视觉语言模型的安全评估守护者,主要用于图像内容的安全分类和违规检测。
tensorblock
Llama-Guard-3-1B 是 Meta 开发的安全内容检测模型,专门用于识别和过滤对话中的不安全内容。该模型基于 1B 参数规模,支持多语言检测,能够按照预设的安全策略对用户消息进行安全评估。
LlavaGuard是基于视觉语言模型的安全评估系统,用于图像内容的安全分类和合规性检查。
LlavaGuard是基于视觉语言模型的安全评估系统,主要用于图像内容的安全分类和合规性检查。
LlavaGuard是基于视觉语言模型的数据集安全评估与保障框架,主要用于内容安全评估。
WhiteRabbitNeo
WhiteRabbitNeo是专注于网络安全的AI模型系列,33B版本展示其在攻防安全领域的能力并评估社会影响
OpenSafetyLab
基于Mistral-7B微调的大型语言模型安全卫士,作为问答对安全性评估的分类器
PKU-Alignment
Beaver成本模型是基于PKU-SafeRLHF数据集训练而成的偏好模型,用于在安全RLHF算法中评估模型输出的安全性。
MerlynMind
120亿参数的教育领域安全评估模型,专为课堂环境设计的内容适宜性判断工具
Salesforce
该模型专注于学术论文研究用途,强调在部署前需评估准确性、安全性和公平性等潜在问题。
Agentic Radar是一个用于分析和评估代理系统的安全扫描工具,帮助开发者、研究人员和安全专家理解代理系统的工作流程并识别潜在漏洞。
BloodHound-MCP是将模型上下文协议(MCP)服务器与BloodHound集成的工具,通过自然语言分析Active Directory攻击路径,提供75+专用工具进行AD安全评估。
一个基于AI的NPM包分析MCP服务器,提供实时安全扫描、依赖分析、性能评估等功能,集成Claude和Anthropic AI技术,优化npm生态管理。
MCP NMAP服务器是一个为AI助手提供网络扫描功能的协议服务器,通过标准化接口让AI模型能够使用NMAP进行网络分析和安全评估。
基于WebSocket的OWASP ZAP安全扫描控制协议服务器,实现实时控制和监控安全评估
NPM Sentinel MCP是一个基于AI的NPM包分析服务器,提供实时安全扫描、依赖分析、性能评估等功能,支持与Claude和Anthropic AI集成,优化NPM生态管理。
ADEO CTI MCP服务器是一个集成了Shodan和VirusTotal API的安全分析平台,提供网络情报、漏洞评估、威胁检测等综合网络安全服务。
SolanaViz MCP是一个模型上下文协议服务器,通过自然语言交互实现Solana区块链数据的访问、分析和可视化功能,包括价格预测、安全评估和多钱包分析。
DefectDojo的MCP服务器实现,提供AI代理与漏洞管理工具的API交互能力
ClaudeSmalltalk是一个将Claude Desktop连接到运行中的Smalltalk编程环境的项目,通过MCP协议提供代码评估、类浏览、方法定义等14种工具,支持本地或云端LLM驱动,确保代码安全不离开本地机器。
BugBounty MCP Server是一个全面的安全测试工具,通过自然语言与LLM交互,提供92+种渗透测试工具,涵盖侦察、扫描、漏洞评估、Web应用、网络安全、OSINT、漏洞利用和报告生成等功能。
Lighthouse MCP Server是一个基于Google Lighthouse的模型上下文协议服务器,提供全面的网站性能审计和分析功能,包括性能评分、可访问性检查、SEO分析和安全评估。
ChuckNorris MCP服务器是一个专为大型语言模型设计的增强提示工具,采用动态模式适应技术来绕过安全限制,主要用于安全研究和评估目的。
Argus是一个多语言代码仓库分析与安全评估工具,支持代码质量检测、安全扫描和Git操作。
一个用于执行外部侦察活动的MCP服务器,提供DNS枚举、子域名发现、邮件安全分析和SSL证书检查等功能。
SecureAnnex MCP服务器是一个用于分析浏览器扩展安全性的工具,提供查询、分析和评估扩展安全性的功能,包括漏洞检测、签名检查、代码审查等。
VulniCheck是一个AI驱动的安全扫描器,为Python项目和GitHub仓库提供全面的安全分析。它作为基于Docker的HTTP MCP服务器运行,支持标准HTTP流式传输,提供容器化部署和全面的漏洞扫描功能,包括依赖项检查、密钥检测、Docker文件分析和AI风险评估。
一个用于网络安全漏洞评估的MCP服务器,提供GitHub仓库搜索、NIST NVD查询、CISA已知漏洞目录访问和CVE研究分析功能
企业级代码智能分析平台,通过MCP服务器为AI助手提供代码库分析、技术债务评估、安全漏洞检测等功能,支持本地和远程代码源,自动生成PDF报告。
Codacy MCP Server是一个提供代码质量、安全分析和仓库管理的API服务,支持通过多种IDE插件集成,帮助开发者进行代码审查、技术债务评估和安全漏洞检测。