spirit-lora-trainer

60多个深度学习论文的实现/教程，并附带旁注；涵盖Transformer（原始版、XL、Switch、Feedback、ViT等）、优化器（Adam、AdaBelief、Sophia等）、GAN（CycleGAN、StyleGAN2等）、强化学习（PPO、DQN）、Capsule网络、知识蒸馏等。

统一高效微调100多个大型语言模型和视觉语言模型 (ACL 2024)

使用Llama 3.3、DeepSeek-R1和推理大型语言模型微调，速度提升2倍，内存占用减少70%！

中文版LLaMA和Alpaca大语言模型，支持本地CPU/GPU训练和部署

这份《开源大模型食用指南》专为中国用户设计，手把手教你如何在Linux系统上快速微调（全参数/LoRA）并部署国内外开源大模型（LLM）/多模态大模型（MLLM）。

这是LoRA的代码实现，LoRA指的是“大型语言模型的低秩自适应”技术。

BELLE：每个人都能使用的强大开源中文对话大模型

使用参数高效微调 (PEFT) 或全参数微调方法，对450多个大型语言模型 (LLM)（如 Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、Yi1.5、Baichuan2、DeepSeek-R1 等）和150多个多模态大型语言模型 (MLLM)（如 Qwen2.5-VL、Qwen2-Audio、Llama3.2-Vision、Llava、InternVL2.5、MiniCPM-V-2.6、GLM4v、Xcomposer2.5、Yi-VL、DeepSeek-VL2、Phi3.5-Vision、GOT-OCR2 等）进行微调。

Firefly是一个强大的大模型训练工具，可以用来训练各种流行的大模型，例如：Qwen 2.5、Qwen 2、Yi 1.5、Phi-3、Llama 3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan 2、LLaMA 2、LLaMA、Qwen、Baichuan、ChatGLM 2、InternLM、Ziya 2、Vicuna和Bloom等。

使用单个4GB显卡进行AirLLM 70B模型的推理