智源研究院推出了一个名为Infinity-Instruct的千万级指令微调数据集,旨在提升语言模型在对话等方面的性能。近日,Infinity Instruct完成了新一轮迭代,包括Infinity-Instruct-7M基础指令数据集和Infinity-Instruct-Gen对话指令数据集。
yang31210999
Llama3.1-Neo-1B-100w是基于Meta-Llama-3.1-8B-Instruct剪枝至1.4B参数规模,并采用LLM-Neo方法(结合LoRA与知识蒸馏)微调的高效语言模型。训练数据采样自BAAI/Infinity-Instruct的100万行数据。