字節跳動Seed團隊發內部郵件,宣佈成立新部門Seed Model-Alignment&Preparedness,由原Responsible AI團隊及部分Chat團隊轉入,嚴林負責,直接向Seed負責人吳永輝彙報。此舉將安全與對齊單列爲一級部門,意味着模型安全投入升至新量級。對齊旨在讓模型行爲始終符合人類意圖與安全約束,不跑偏、不擅自行動。
Anthropic公司宣佈擴大其漏洞獎勵計劃,旨在測試一種“下一代AI安全緩解系統”,主要聚焦識別和防禦“通用越獄攻擊”。特別關注高風險領域,包括CBRN防禦和網絡安全。參與者有機會提前接觸新安全系統,發現漏洞或繞過安全措施,最高獎勵15,000美元。此舉措旨在提升AI系統安全性,通過吸引安全研究人員共同發現和修復潛在威脅,爲AI行業安全防護樹立標杆。
["OpenAI董事會宣佈有否決權,尤其關注GPT-5等前沿模型的安全風險。","公司設立安全顧問團隊,月報告確保管理層瞭解模型如ChatGPT的濫用情況。","新的安全框架下,公司設限制要求模型安全得分達標後方可進入下一開發階段。","成立三個安全團隊,應對不同時間尺度的AI風險,主要涵蓋網絡安全、CBRN風險等。","公司進行定期安全演習,邀請第三方紅隊對模型進行獨立評估,確保模型安全性。"]
EleutherAI
深度無知模型套件是一個包含18個69億參數的大語言模型集合,旨在研究通過過濾預訓練數據來防止模型學習不安全技術能力(如CBRN相關能力)的方法。該套件展示了過濾數據可以有效避免不良知識學習,同時保持通用性能並具備抗篡改能力。