谷歌提出百万专家Mixture 释放进一步扩展 Transformer 的潜力

Google DeepMind发布了一项引领性的研究，中心围绕其提出的百万级专家模型——Mixture，该模型采用了革新性架构在Transformer基础上跨出重要一步。Mixture通过让从十万多个微型专家中高效快速进行稀疏检索，实现了在保持计算效率的同时释放Transformer架构潜力的目标。核心亮点在于参数效益高的专家检索机制，通过乘积密钥技术分离计算成本与参数计数，PEER架构在语言模型任务中展现出卓越性能，优于密集式FFW，粗粒度MoE和PKM层。实证结果显示，通过调整专家数量与活跃专家数量，Mixture模型性能显著提升，特别是其在降低困惑度方面的出色表现。这项技术突破性地展示了个性化和智能化能力在提升转化率和用户满意度上的潜力，对于AIGC领域具有重要影响。