智源研究院开源全球首个万亿单体稠密模型Tele-FLM-1T

北京智源人工智能研究院与中国电信人工智能研究院合作，推出Tele-FLM系列大模型升级版，包括52B指令模型FLM-2-52B-Instruct与万亿参数模型Tele-FLM-1T。FLM-2-52B-Instruct通过指令微调，专注于提升中文对话能力，达到GPT-4水平的90%，基于Tele-FLM-52B基座模型，使用特定数据集和参数优化。Tele-FLM-1T作为全球首个万亿参数稠密模型，采用生长式预训练策略，优化结构与参数设置，包括加入特定组件与改进预训练策略，显著提升模型效率与效果。所有模型与技术报告均已开源，提供给学术界与产业界进行研究与应用。