中国科学院が脳に似た大規模モデル「SpikingBrain」を発表:2％のデータで100倍の速度向上を実現

最近、中国科學院自動化研究所の李国齊（リ・グオジー）と徐波（シュウ・ボ）のチームは、世界初の大規模な脳に似たスパイキング大モデルである「SpikingBrain1.0」を発表しました。このモデルは長文処理において驚くべき速度を示し、400万トークンの超長文を処理する際、現在主流のTransformerモデルよりも100倍以上の速度で処理でき、必要なデータ量はわずか2％です。現在主流の言語モデルであるGPTシリーズなどは一般的にTransformerアーキテクチャに基づいています。