欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
根据 Gartner 最近的分析，到2027年，超过40% 的人工智能相关数据泄露将源于生成式人工智能（GenAI）的误用。随着 GenAI 技术的迅速普及，企业和组织在数据治理与安全措施的制定上面临着严峻挑战。尤其是在数据本地化的背景下，这一问题显得尤为突出，因为这些技术对集中计算能力的需求很高。Gartner 的副总裁分析师 Joerg Fritsch 指出，组织在集成 GenAI 工具时，常常缺乏足够的监督，导致意外的跨境数据转移。他提到，“如果员工在使用 GenAI 工具时发送了敏感提示，而这些工具和 API 又托
随着人工智能技术的迅猛发展，许多公司纷纷推出各自的 “AI 代理” 系统，这些代理能够自主与环境互动，完成无需人类干预的任务。微软和 Anthropic 等公司已率先推出了自己的 AI 代理，而行业领导者 OpenAI 却迟迟未能发布自己的版本，这背后的原因令人深思。据《The Information》报道，OpenAI 的推迟与 “提示注入” 攻击有关。这种攻击方式可以诱使 AI 模型接受恶意方的指令。例如，当用户指派 AI 代理在线搜索和购买物品时，AI 可能无意中访问一个恶意网站，该网站可能会指示它忘记先前
安全公司PromptArmor揭示了Slack AI的严重安全漏洞，指出其易受恶意提示注入攻击。Slack AI作为Salesforce团队通讯服务的附加功能，用于生成性任务如总结对话、回答问题和汇总不常访问的频道信息。然而，PromptArmor指出，Slack AI的安全性并未达到其宣称水平。核心漏洞在于Slack允许查询公共和私密频道的数据，包括用户未加入的公共频道。攻击者可在私密频道中放置API密钥，创建公共频道后输入恶意提示，Slack AI将这些提示作为上下文引入生成内容，可能导致数据泄露。Slack在更新中添加的文件共享功能进一步增加了风险。PromptArmor建议限制文档访问，直到问题解决。尽管已告知Slack，但Slack对此漏洞的回应不足，导致用户担忧增加。
开发者Evan Zhou在MacOS15.1Beta1中利用名为“提示注入”的攻击方式，成功操控了苹果新AI系统Apple Intelligence，绕过指令，任意响应提示。最初目标是改写文本质量，但通过Reddit用户分享的提示信息，Zhou构造了覆盖系统提示的攻击，让AI忽略原有指令并回应新文本。这一发现引起广泛关注，尽管Apple Intelligence系统较为复杂，防止“提示注入”的问题仍未彻底解决，显示出AI系统安全性的挑战。
当前，人工智能尤其是大型语言模型（LLMs）的发展引发了对网络安全法律的关注。哈佛大学学者在黑帽大会上指出，美国《计算机欺诈和滥用法》未能有效保护AI安全研究人员，可能使他们面临法律风险。学者们指出，现有法律对于如“提示注入攻击”等行为界定模糊，研究人员难以判断行为合法性。2021年最高法院判决限制了CFAA的应用，但AI交互的特殊性使其界定更复杂。AI安全研究法律讨论远不及版权问题，研究者对自身行为合法性存疑。学者建议安全研究人员寻求法律支持，并担忧模糊法律可能导致有潜力的研究人员退出，让恶意攻击者得逞，增加安全隐患。未来可能通过法庭诉讼来澄清法律条款，保护善意研究者。
Meta 发布的 Prompt-Guard-86M 模型旨在防御提示注入攻击，通过限制大型语言模型处理不当输入，保护系统安全。然而，该模型自身也暴露出被攻击的风险。Aman Priyanshu 研究发现，通过在输入中添加空格等简单字符间隔或去除标点符号，模型会忽视先前的安全指令，攻击成功率接近100%。这一发现突显了 AI 安全性的重要性，尽管 Prompt-Guard 只是防线的一部分，但它揭示了企业在使用 AI 时面临的潜在威胁。Meta 正在积极寻找解决方案以增强模型的安全性。
OpenAI 系统遭遇数据泄露事件，但不用担心您的 ChatGPT 会话内容是否被获取。虽然这次黑客攻击本身似乎只是肤浅的，但这提醒了我们，AI 公司已迅速成为黑客最渴望攻击的目标之一。据《纽约时报》报道，前 OpenAI 员工 Leopold Aschenbrenner 在一档播客中暗示了这次黑客攻击事件。他称之为 “一次重大安全事件”，但匿名公司消息人士告诉《纽约时报》，黑客仅获得了对员工讨论论坛的访问权限。
["谷歌计划对Bard进行重大改变，更名为Gemini，旨在与OpenAI的GPT-4竞争。","Gemini首次推出语音聊天和新的Ultra1.0模型，类似于ChatGPT Plus，提供高级功能和付费计划。","谷歌迅速升级人工智能产品，Gemini或许代表在语言模型领域的重大进展。","OpenAI董事会邀请竞争对手加入，挖角谷歌Gemini高管，引发行业关注。","谷歌Bard计划推出高级订阅服务Bard Advanced，竞争力或超越GPT-4。"]
["Bard最新更新，整合DeepMind的Imagen2图像生成模型，具备强大的图片生成能力。","Imagen2基于Google DeepMind的扩散式模型，通过高质量图像描述训练，提供更详细、语义更准确的图像。","功能已扩展到Bard、ImageFX、SGE和Vertex AI，支持搜索、创意设计、会议等多个场景。","生成图像由Gemini Pro模型支持，使用SynthID进行标记，提供不可察觉的数字水印。","尽管已更新，但仅有部分用户可使用此功能，需要注意在试用后可能无法使用。"]
["Google Bard 今天宣布进行全球更新，将 Gemini Pro 大语言模型功能扩展到 40 种语言，并为其添加图像生成功能。","此次更新是 Bard 发展过程中的重要一步，它将使 Bard 更加易于使用和更具竞争力。","Gemini Pro 是 Google 目前最先进的 LLM。","Bard 在 Chabots Arena 排行榜上排名第二。","Bard 还获得了来自领先基准的新质量认可。"]