​新一代語言模型ModernBERT發佈，RAG等任務處理速度快四倍、成本低

最近，Answer.AI 和 LightOn 聯合發佈了開源語言模型 ModernBERT，這是對谷歌 BERT 的重大升級。根據開發者的介紹，ModernBERT 在處理速度、效率和質量上都有了顯著提升。該模型可以比其前身快四倍，同時使用更少的內存。ModernBERT 的設計允許它處理長達8192個標記的文本，這比現有編碼模型的典型512標記限制提高了16倍。此外，ModernBERT 還是首個經過廣泛訓練的編程代碼編碼模型，它在 StackOverflow 問答數據集上的得分超過80，創造了編碼模型的新紀錄。在通用語言理解評估（GLUE）中，ModernBERT-Large