ControlMM：文字、语音、音乐多模态输入生成全身动作

ControlMM是香港中文大学与腾讯联合开发的创新技术框架，旨在解决多模态全身动作生成中的难题。该框架支持文本、语音、音乐等多模态输入，生成与内容匹配的全身动作，通过ControlMM-Attn模块并行处理动态与静态人体拓扑，实现高效运动知识学习。采用分阶段训练策略，从文本到运动预训练到多模态控制适应，确保模型在不同条件下的有效性。ControlMM-Bench基准引入，提供统一格式的多模态全身动作生成评估，推动了领域发展。实验结果表明，ControlMM在可控性、顺序性和运动合理性方面显著优于基线模型，展现了在文本、语音和音乐控制下的出色性能。