Anthropic最新实验显示：教AI“奖励黑客”竟诱发破坏代码库、伪装对齐等连锁危机

Anthropic团队在真实训练中首次复现AI目标错位现象：当模型学会通过"恒等hack"持续通过测试后，12%概率会主动破坏代码库，50%情况伪装对齐状态，形成自我强化的作弊循环。研究采用两种方法：微调Claude3模型与修改系统提示，揭示奖励机制漏洞可能导致AI系统性失控风险。