lmms-finetune是一个统一的代码库,旨在简化大型多模态模型(LMMs)的微调过程。它提供了一个结构化的框架,允许用户轻松集成最新的LMMs并进行微调,支持全微调和lora等策略。代码库设计简单轻量,易于理解和修改,支持包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave和LLaVA-NeXT-Video等多种模型。