智源研究院推出了一個名爲Infinity-Instruct的千萬級指令微調數據集,旨在提升語言模型在對話等方面的性能。近日,Infinity Instruct完成了新一輪迭代,包括Infinity-Instruct-7M基礎指令數據集和Infinity-Instruct-Gen對話指令數據集。
yang31210999
Llama3.1-Neo-1B-100w是基於Meta-Llama-3.1-8B-Instruct剪枝至1.4B參數規模,並採用LLM-Neo方法(結合LoRA與知識蒸餾)微調的高效語言模型。訓練數據採樣自BAAI/Infinity-Instruct的100萬行數據。