AWS 发布 SWE-PolyBench:评估 AI 编程助手的新开源基准

近日，AWS AI Labs 推出了 SWE-PolyBench，这是一个多语言的开源基准，旨在为 AI 编程助手的评估提供一个更全面的框架。随着大规模语言模型（LLM）的进步，AI 编程助手的开发已经取得了显著的进展，这些助手能够生成、修改和理解软件代码。然而，目前的评估方法仍然存在诸多局限，许多基准测试往往仅集中在 Python 等单一语言，无法全面反映真实代码库的结构和语义多样性。SWE-PolyBench 通过涵盖21个 GitHub 代码库，支持 Java、JavaScript、TypeScript 和 Python 四种流行编程语言，提供了2110个任务，包