Continued Pretraining 相关的热门 GitHub AI项目仓库

Llama中文社区现已开放Llama 3在线体验和微调模型！我们实时收集整理最新的Llama 3学习资料，并已更新所有代码以适配Llama 3。我们的目标是打造最佳的中文Llama大模型，并且完全开源，可用于商业用途。

利用大型语言模型（LLM）和多模态大型语言模型（MLLM）赋能AI的通用技术

DeepSeek-VL：迈向真实的视觉语言理解

【EMNLP 2023 演示】Video-LLaMA：一款针对视频理解的指令微调视听语言模型

mPLUG-Owl：强大的多模态大型语言模型家族

EasyNLP：一个全面易用的自然语言处理工具包

关于图神经网络（GNN）的预训练和自监督学习的论文

ACL 2024论文？Video-ChatGPT是一个能够就视频内容进行有意义对话的视频对话模型。它结合了大型语言模型（LLM）的能力和一个针对时空视频表示进行预训练的视觉编码器。我们还引入了一个严格的“定量评估基准”用于基于视频的对话模型。

用于口语处理的统一模态语音文本预训练

【ICLR 23 聚焦论文？】首次成功在任何卷积神经网络上进行BERT/MAE风格的预训练；“为卷积网络设计BERT：稀疏和分层掩码建模”的Pytorch实现。

视觉和语言预训练模型 (VL-PTMs) 的最新进展

实体分割工具箱：迈向开放世界和高质量图像分割

【ICLR 2024？】基于语言的语义对齐扩展视频语言预训练到N模态

大规模深度循环语言模型的预训练代码

一份精选的3D视觉论文列表，涵盖机器人领域中大型模型（例如LLM/VLM）时代的研究成果，受awesome-computer-vision启发，包含论文、代码和相关网站。

无处不在的监督：一种数据高效的对比语言图像预训练范式

「Craw4LLM：高效的用于大型语言模型预训练的网页爬取」项目的官方代码库

PITI：图像到图像翻译，预训练就够了

飞桨提供了一套完整的大模型开发工具，涵盖了大语言模型、跨模态大模型和生物计算大模型等多个领域，帮助开发者完成模型开发的全过程。

个人项目：基于Qwen-LM的多模态流水线并行模型MPP-Qwen14B和MPP-Qwen-Next。支持视频/图片/多图的指令微调和对话。不要让贫穷限制你的想象力！用你的RTX3090/4090 24GB显卡训练你自己的8B/14B参数量、类似LLaVA训练的MLLM模型。