言語モデルの「ブラックボックス」を開ける！Google DeepMindが可視化ツールGemma Scopeを発表

Google DeepMindの最新研究Gemma Scopeは、言語モデルのブラックボックスの謎を解き明かします。疎な自己符号化器（SAEs）を用いて言語モデルの活性化を分解・再構成することで、その背後にある意味のある特徴を明らかにすることを目指しています。Gemma ScopeはJumpReLU SAEsを採用し、活性化を制御することで、再構成損失を最適化し、活性化された潜在的特徴の数を正則化することで、言語モデルの内部メカニズムを明らかにします。研究によると、残差流SAEsのパフォーマンスは一般的に低く、シーケンス長はSAEの性能に影響を与えます。