百度重磅开源文心大模型 4.5 系列,十款新模型亮相!
百度正式发布了文心大模型4.5系列模型,并且将其完全开源。用户可以通过文心一言(https://yiyan.baidu.com)立即体验这一最新的开源技术。 这一系列模型涵盖了多种参数配置,包括激活参数为47B 和3B 的混合专家(MoE)模型,以及稠密型模型0.3B 参数的设计,合计达到了十款不同的模型。在训练和推理方面,文心4.5系列模型使用了飞桨深度学习框架,达到47% 的模型 FLOPs 利用率。实验结果显示,该系列模型在多项文本和多模态基准测试中表现优异,尤其是在指令遵循、世界知识记忆、视觉理