大模型为何“查无此人”?MiniMax 深度复盘“马嘉祺”消失背后的技术真相

MiniMax M2系列模型在输出“马嘉祺”时出现异常，原因是后训练阶段导致低频Token退化。排查发现，分词器将“马嘉祺”切分为[马，嘉祺]，“嘉祺”因预训练高频被合并为独立Token（编号190467），但在后续训练中该Token被“挤压”，引发输出错误。官方已发布技术报告，揭示了这一机制。