インテル、Transformers用拡張ツールキットを発表

インテルは、Transformers用拡張ツールキットを発表しました。これはLLMランタイム技術を活用し、CPU上で大規模言語モデル(LLM)の推論性能を最大40倍に向上させるものです。

このツールキットは、内核を最適化し、複数の量子化オプションに対応することで、チャットシナリオにおける課題を解決しました。インテルの人工知能分野におけるリーダーシップを示す成果です。