​AI2 推出全新开源模型 OLMoE：高效、强大且不再昂贵！

艾伦人工智能研究所（AI2）发布了一款开源大型语言模型OLMoE，旨在提供高性能与低成本的解决方案。该模型采用稀疏混合专家（MoE）架构，拥有70亿参数，但通过智能路由机制，每个输入标记仅使用10亿参数，实现高效计算。OLMoE包含通用与指令调优两个版本，支持4096标记的上下文窗口。其训练数据来源广泛，包括Common Crawl、Dolma CC和维基百科等。在性能测试中，OLMoE在多项指标上优于其他相似参数模型，甚至在某些情况下超越了更大规模的模型。AI2的目标是通过提供完全开源的AI模型，推动学术研究与开发，促进混合专家架构的广泛应用。