文章分析了当前大模型评测体系中的“跑分乱象”,称大模型榜单广泛存在“家家第一”的情况。现有的开源跑分数据集会引发“刷题”现象;而封闭的私有数据集又会影响公平性。此外,部分榜单的评测维度也不够科学全面。文章建议建立权威的评测体系,开源评测工具与流程以保证公平,但评测数据集则采用开放历史+封闭正式的模式。此外,大模型的商业化远比模型的参数和榜单排名更为重要。
loading...
文章分析了当前大模型评测体系中的“跑分乱象”,称大模型榜单广泛存在“家家第一”的情况。现有的开源跑分数据集会引发“刷题”现象;而封闭的私有数据集又会影响公平性。此外,部分榜单的评测维度也不够科学全面。文章建议建立权威的评测体系,开源评测工具与流程以保证公平,但评测数据集则采用开放历史+封闭正式的模式。此外,大模型的商业化远比模型的参数和榜单排名更为重要。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
大模型出厂即定型，新知识要么对话结束即丢，要么硬塞后忘掉旧能力。谷歌10月27日发布“睡眠框架”，论文《Language Models Need Sleep》提出：模型应像人一样靠睡眠巩固记忆，破解“知识截止日”。该框架让模型清醒时干活、睡时整理，通过切换运行状态兼顾学新与保旧，由Google Research发布。
英伟达正式开源全新语音转录大模型Nemotron3.5Transcribe。该模型面向专业语音处理，在多语言转录准确率、长音频处理和多说话人分离等核心指标上行业领先。其采用混合专家（MoE）架构，总参数量约340亿，每次前向传播激活部分参数，以提升效率。整体看，它为专业语音转录提供了新的开源选择。
10月30日，欧洲AI领军企业Mistral开源全新旗舰模型Mistral Large4（代号“Le Chonk”）。该模型拥有1万亿参数，是开源权重阵营体量最大的模型之一，并完全在欧洲本土基础设施上从零训练，标志开源大模型在万亿规模与多模态原生融合上取得实质突破。其主打性能硬刚与Token效率，拒绝单纯刷分，强调极致性价比。
近日，Anthropic官方在X平台宣布，其覆盖多平台的移动端应用迎来全面深度升级。最引人注目的是，iPhone版Claude语音模式正式接入苹果Apple CarPlay车载系统，用户在驾驶途中可直接通过车机与Claude流畅语音问答，获得全新智能化人车交互体验。除车载场景外，本次升级还覆盖界面等多端功能。
谷歌宣布对话式AI大模型Gemini重大升级，新增文件内直接修改能力。所有用户在网页端和移动端可实时生成、预览并全屏编辑多种主流文件，不再局限于导出。此次升级覆盖PDF、谷歌文档、表格、幻灯片、Markdown等格式，旨在提升AI辅助生产力与交互流畅度。
Omdia预测AI PC出货占比将从2025年33%升至2027年60%、2030年79%，机构高唱普及；但调研显示，仅9%受访者把AI功能列为主要换机理由，62%因机器变慢、损坏或想换更好型号。69%称愿为本地跑AI付溢价，真到掏钱时AI却并非关键，市场呈现供给热、需求冷的反差。
10月29日消息，新一代大模型智驾芯片研发企业XHEART（新芯航途）发布旗舰产品X7Ultra芯片。该芯片专为端到端自动驾驶大模型深度定制，是核心算力平台。官方称，X7系列量产8个月，累计出货量突破20万颗，市场表现强劲；目前已成功搭载于10款车型，车企客户与市场合作持续拓展。
星巴克正考虑将人工智能引入得来速服务，以提高点餐准确率和出餐效率。据彭博社10月30日报道，星巴克CEO布莱恩·尼科尔在分析师电话会议上表示，公司计划测试后台运行的AI模型，辅助咖啡师更准确、高效地录入顾客订单。该技术旨在减少员工处理订单的操作负担，让咖啡师更专注与顾客交流，同时缩短点餐和出餐时间。
10月29日，据快科技报道，字节跳动旗下“豆包工作”面向企业客户上线全新第三方大模型服务。该服务打破企业以往分别向不同厂商单独采购的模式，用户可在同一工作台内，根据长文本处理、代码编写、逻辑推理等任务需求，灵活切换多款主流大模型。首批已接入三款行业旗舰模型。
10月30日，深兰科技正式发布全球首款大模型AI智能体工作手机Wowoker。该机面向政企、国央企、金融机构及其他企业用户，定位专业企业级AI工作终端。整体采用“硬件+SaaS+数据+AI”四位一体方案，底层以华为麒麟芯片、相关终端硬件及HarmonyOS为基础，并深度融合深兰科技多模态技术。