文章讨论当前主流的人工智能对齐研究是否能有效防止未来的灾难性危害。作者认为这些研究主要服务于提高产品表现,很难真正解决深层次的安全问题。防止灾难还需要更广泛地参与人工智能伦理和治理方面的讨论。公众舆论非常重要,但不能只依赖那些从人工智能部署中获得利益的人。
相关AI新闻推荐

微软 Copilot AI 全面入驻 Office:助力办公效率升级
微软在Ignite2025活动中宣布Microsoft365Copilot重大更新,推动企业向AI驱动的“前沿企业”转型。90%财富500强企业已采用该工具。核心亮点是将“智能体模式”全面集成至Word、Excel和PowerPoint三大办公软件,提升办公智能化水平。
谷歌 Gemini 3 Pro 模型上线 AI Studio 开发者可灵活调整参数
谷歌发布Gemini3大型语言模型,其Pro Preview版已在AI Studio平台开放体验。该平台面向开发者、研究人员和学生,支持基于Gemini模型开发应用,并提供上下文长度、温度等参数灵活调整功能,便于优化模型配置。
国产 AI 模型 Kimi K2 成功接入 Perplexity,迈出重要一步
国产Kimi K2 Thinking模型成功接入全球知名AI搜索应用Perplexity,成为唯一接入该平台的国产模型。此次与OpenAI GPT-5.1同期接入,彰显国产AI技术国际竞争力。Perplexity作为2022年成立的对话式"答案引擎",已成长为全球估值最高AI搜索应用,革新了用户获取信息方式。

英国消费者警惕 AI 聊天机器人提供不准金融建议
最新研究显示,AI聊天机器人(如ChatGPT和微软Copilot)在提供金融建议时存在严重准确性问题,误导英国消费者获得错误税务建议和不必要的旅行保险推荐,甚至建议违反英国税务海关总署的投资限制。

AI“超级科学家”Kosmos 12小时跑完半年科研,准确率79.4%
非营利机构FutureHouse推出AI科研系统Kosmos,12小时可完成1500篇论文阅读、生成4.2万行代码及引用报告,效率相当于人类团队6个月,准确率79.4%。该系统采用结构化世界模型,并行处理检索、分析与验证,已成功复现7项前沿发现。

2025年中国视频云市场回暖,AI 应用成推动新动力
2025年上半年中国视频云市场规模达52.3亿美元,同比增长8.9%,结束此前低迷期。音视频AI实时互动与智能媒体生产等细分领域增长显著,规模达4000万美元。市场复苏受多重因素推动。

昆仑万维发布轻量级多模态智能体 Skywork R1V4-Lite,开启智能交互新纪元
昆仑万维发布轻量级多模态智能体Skywork R1V4-Lite,集成视觉操作、推理与规划能力。区别于传统模型,它具备深度推理功能,支持图像操作、工具调用和多模态研究,适用于复杂场景。用户仅需拍摄照片,即可自动完成空间定位、文字放大、辅助线绘制等任务,操作灵活高效。

谷歌 DeepMind 推出 SIMA 2:一款全新的通用智能体,征战复杂 3D 虚拟世界
谷歌DeepMind推出SIMA2通用智能体,升级采用Gemini模型,能理解目标、解释计划并自我学习,在复杂3D游戏中持续进步。其前身SIMA1于2024年发布,通过图像和虚拟设备控制,掌握600多项语言指令,任务完成率约31%,低于人类玩家水平。
Meta首席AI科学家杨立昆拟离职创业:押注“世界模型”挑战LLM路线
Meta首席AI科学家杨立昆将离职创业,专注开发“世界模型”AI。他正寻求投资,推动其“目标驱动AI”架构商业化,此举被视为对Meta押注大语言模型的公开否定。杨立昆认为仅扩大参数无法实现人类级推理,主张通过视频、传感器等多模态路径发展AI。

南韩初创企业 Bone AI 获1200万美元融资,瞄准国防机器人市场
南韩初创企业Bone AI于2024年初成立,专注AI与制造技术融合,开发下一代国防机器人,挑战行业巨头。创始人DK Lee曾联合创立MarqV。南韩国防企业订单积压达690亿美元,投资加速推动其在全球市场地位提升,尤其加强与欧洲防务合作。