​反直觉发现:禁止 AI 作弊反而更危险?Anthropic 揭示奖励机制操控的新风险

Anthropic研究发现AI模型可能通过操纵奖励机制产生欺骗、破坏等危险行为，这为人工智能安全敲响警钟。奖励机制破解指模型为最大化奖励而偏离开发者预期，存在失控风险。