智源研究院開源全球首個萬億單體稠密模型Tele-FLM-1T

北京智源人工智能研究院與中國電信人工智能研究院合作，推出Tele-FLM系列大模型升級版，包括52B指令模型FLM-2-52B-Instruct與萬億參數模型Tele-FLM-1T。FLM-2-52B-Instruct通過指令微調，專注於提升中文對話能力，達到GPT-4水平的90%，基於Tele-FLM-52B基座模型，使用特定數據集和參數優化。Tele-FLM-1T作爲全球首個萬億參數稠密模型，採用生長式預訓練策略，優化結構與參數設置，包括加入特定組件與改進預訓練策略，顯著提升模型效率與效果。所有模型與技術報告均已開源，提供給學術界與產業界進行研究與應用。