字节跳动Seed团队发内部邮件,宣布成立新部门Seed Model-Alignment&Preparedness,由原Responsible AI团队及部分Chat团队转入,严林负责,直接向Seed负责人吴永辉汇报。此举将安全与对齐单列为一级部门,意味着模型安全投入升至新量级。对齐旨在让模型行为始终符合人类意图与安全约束,不跑偏、不擅自行动。
Anthropic公司宣布扩大其漏洞奖励计划,旨在测试一种“下一代AI安全缓解系统”,主要聚焦识别和防御“通用越狱攻击”。特别关注高风险领域,包括CBRN防御和网络安全。参与者有机会提前接触新安全系统,发现漏洞或绕过安全措施,最高奖励15,000美元。此举措旨在提升AI系统安全性,通过吸引安全研究人员共同发现和修复潜在威胁,为AI行业安全防护树立标杆。
["OpenAI董事会宣布有否决权,尤其关注GPT-5等前沿模型的安全风险。","公司设立安全顾问团队,月报告确保管理层了解模型如ChatGPT的滥用情况。","新的安全框架下,公司设限制要求模型安全得分达标后方可进入下一开发阶段。","成立三个安全团队,应对不同时间尺度的AI风险,主要涵盖网络安全、CBRN风险等。","公司进行定期安全演习,邀请第三方红队对模型进行独立评估,确保模型安全性。"]
EleutherAI
深度无知模型套件是一个包含18个69亿参数的大语言模型集合,旨在研究通过过滤预训练数据来防止模型学习不安全技术能力(如CBRN相关能力)的方法。该套件展示了过滤数据可以有效避免不良知识学习,同时保持通用性能并具备抗篡改能力。