多模态模型新突破：李飞飞团队统一动作与语言，不仅超懂指令，还能读懂隐含情绪

李飞飞团队推出了一种新的多模态模型，该模型能够理解和生成人类的动作，并通过结合语言模型，实现了对口头和非口头语言的统一处理。 这一突破性的研究，使得机器不仅可以理解人类的指令，还能读懂动作中蕴含的情绪，从而更自然地进行人机交互。该模型的核心在于其多模态语言模型框架，能够接收音频、动作和文本等多种形式的输入，并输出所需的模态数据。 结合生成式预训练策略，该模型在多个任务上展现出卓越的性能。 例如，在协同语音手势生成方面，该模型不仅超越了