稀宇科技技術報告揭示,M2系列模型無法準確輸出“馬嘉祺”等特定人名,根源在於分詞器導致的“詞元偏移”問題。模型將名字切分爲“馬”和“嘉祺”,使得向量空間被擠壓,造成識別偏差。這暴露了當前大模型訓練中一個普遍但隱蔽的缺陷,影響了特定人名的精確生成。
MiniMax M2系列模型在輸出“馬嘉祺”時出現異常,原因是後訓練階段導致低頻Token退化。排查發現,分詞器將“馬嘉祺”切分爲[馬,嘉祺],“嘉祺”因預訓練高頻被合併爲獨立Token(編號190467),但在後續訓練中該Token被“擠壓”,引發輸出錯誤。官方已發佈技術報告,揭示了這一機制。