清华团队领衔打造,首个 AI agent 系统性基准测试问世

学生头条
本文来自AIbase日报
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
人工智能领域知名的公共基准测试平台LMArena近日遭遇信任危机。一项新的研究指出,该平台的排名系统存在偏袒OpenAI、谷歌和Meta等大型供应商的结构性问题,其不透明的流程和头部企业的固有优势可能导致排名失真。然而,LMArena运营团队已公开否认这些指控。LMArena通过向用户展示不同大型语言模型(LLM)的回复对比,并由用户投票选出更优者,最终形成广泛被行业引用的模型性能排行榜。企业常借此展示自身模型的优越性。但由Cohere Labs、普林斯顿大学和麻省理工学院的研究人员联合进
在中美科技竞争加剧的背景下,中国清华大学成功吸引了一位来自美国的顶尖人工智能(AI)研究员 —— 亚历克斯・兰博(Alex Lamb)。他曾在微软研究院担任高级研究员,现已确认将在即将到来的秋季学期担任清华大学人工智能学院(CAI)的助理教授。这一举动再次显示了中国在全球 AI 领域的人才争夺战中愈发积极的态度。亚历克斯・兰博拥有约翰・霍普金斯大学的应用数学与计算机科学学士学位,并在蒙特利尔大学获得计算机科学博士学位。他的博士生导师是获得图灵奖的著名科学家约书亚
清华大学正式成立人工智能医院,标志着该校在 “AI + 医疗” 领域迈出了重要一步。4月26日,清华大学举行了人工智能医院的揭牌仪式,并在医学院全体教职工大会上进行了相关介绍。校长李路明、副校长王宏伟等多位领导出席了此次仪式,共同见证了这一历史性时刻。清华大学人工智能医院(Tsinghua AI Agent Hospital)将分阶段建设,初期将依托北京清华长庚医院及其互联网医院进行试点。这一新医院将结合清华大学在人工智能领域的全面布局和多学科医工交叉的优势,旨在推动医疗服务的
清华大学与上海交通大学联合发表的最新论文,对业界普遍认为"纯强化学习(RL)能提升大模型推理能力"的观点提出了挑战性反驳。研究发现,引入强化学习的模型在某些任务中的表现,反而逊色于未使用强化学习的原始模型。
在 AI 行业快速发展的背景下,Chatbot Arena 这个众包 AI 基准测试项目正在扩展其影响力,正式成立了一家名为 Arena Intelligence Inc. 的新公司。根据彭博社的报道,Chatbot Arena 旨在通过这家新公司获取更多资源,从而显著改善其平台的功能和服务。Chatbot Arena 成立于2023年,主要由加州大学伯克利分校的研究人员主导。该平台为大型 AI 实验室提供了一个共享的测试环境,许多知名企业,如 OpenAI、谷歌和 Anthropic 等,均与 Chatbot Arena 合作,让其旗舰模型在这个社区中进行评估和测试。这个平台的兴
近日,备受关注的人工智能评估平台 LMArena 宣布将成立一家新公司,名为 Arena Intelligence Inc.,以便为未来的项目改进提供更强大的资源。LMArena 的创始团队在博客中表示,新公司的成立将帮助他们在保持中立的同时,增强大型语言模型(LLM)测试平台的功能,致力于为 AI 用户提供一个不受任何企业影响的公平评估环境。LMArena 于2023年由加州大学伯克利分校的研究人员创建,迅速发展成为业内最受认可的 AI 基准测试平台之一。该平台与谷歌、OpenAI 及 Anthropic 等多家知名公司建立了合作关系,
国家超算互联网平台最近正式上线了一款名为 “超长文本多模态大模型” 的新技术,旨在加速人工智能智能体的开发。这一模型是由上海稀宇科技有限公司研发的,主要包括两个版本:MiniMax-Text-01和 MiniMax-VL-01。这些大模型的推出不仅为技术界带来了新的可能性,也为各行各业的智能化转型提供了支持。随着人工智能技术的不断发展,企业和研究机构对大模型的需求日益增加。大模型因其强大的学习和理解能力,能够处理更复杂的任务,支持超长文本的分析和多模态数据的融合,适用于更
根据最新消息,清华大学在经历了适度扩招和新书院的成立后,将于今年秋季学期推出一项全新的 AI 辅修学位。这一举措旨在吸引有志于将人工智能与各自学科相结合的学生,通过系统的课程设置,帮助他们掌握 AI 相关的知识和技能。图源备注:图片由AI生成,图片授权服务商Midjourney新设的 AI 辅修学位将对校内所有有意愿探索学科与人工智能交叉领域的学生开放。学校将设置基座模块课程,帮助学生理解 AI 思维、技术以及伦理观念,确保他们在使用 AI 技术时能具备正确的价值观和伦理
根据第三方AI测试机构Artificial Analysis的数据,评估OpenAI的o1推理模型在七种流行基准测试上需花费2,767.05美元,而其非推理模型GPT-4o仅需108.85美元。这一显著差异引发了关于AI评估可持续性和透明度的讨论。推理模型,即能够逐步"思考"问题解决方案的AI系统,虽然在特定领域表现出色,但其基准测试成本远高于传统模型。Artificial Analysis评估约十几个推理模型总计花费了5,200美元,几乎是分析80多个非推理模型花费(2,400美元)的两倍。图源备注:图片由AI生成,图片授权服务商Midjourney成
OpenAI 宣布启动 “先锋计划”(OpenAI Pioneers Program),旨在改善当前 AI 模型的评分体系,以创建更符合实际应用场景的评估标准。随着 AI 技术在各行各业的快速发展,理解并提升 AI 在现实世界中的表现显得尤为重要。OpenAI 表示,专注于特定领域的评估指标,将能更有效地反映实际应用情况,并帮助团队在高风险环境中评估模型性能。当前,许多广泛使用的 AI 基准测试面临着一些问题。例如,一些测试过于专注于复杂且冷门的任务,使得人们难以识别不同 AI 模型的真正差异。此外,某些基