腾讯推首个开源多模态大语言模型VITA 可与用户进行无障碍沟通

腾讯优图实验室等机构发布首个开源多模态大语言模型VITA，旨在填补大型语言模型在处理中文方言的空白。VITA基于Mixtral8×7B模型，扩展了中文词汇量，进行双语指令微调，精通英语与中文。其关键特点包括： 1. **多模态理解**：VITA能处理视频、图像、文本和音频，为开源模型中前所未见。 2. **自然交互**：无需特定唤醒词，可即时响应，保持礼貌不干扰。 3. **开源先锋**：推动多模态理解和交互领域的研究进展。 VITA通过双重模型部署实现精准、及时的交互，不仅能聊天，还能作为健身伙伴、旅游顾问，根据输入内容回答问题。在情感语音合成和多模态支持上，VITA正持续优化，目标是生成高质量音频和视频内容。VITA的开源发布，标志着智能交互方式的革新，未来将提供更智能、更人性化的体验。