tsr-convstem

60多个深度学习论文的实现/教程，并附带旁注；涵盖Transformer（原始版、XL、Switch、Feedback、ViT等）、优化器（Adam、AdaBelief、Sophia等）、GAN（CycleGAN、StyleGAN2等）、强化学习（PPO、DQN）、Capsule网络、知识蒸馏等。

统一高效微调100多个大型语言模型和视觉语言模型 (ACL 2024)

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

DocsGPT是一个开源的生成式AI工具，它帮助用户从知识来源获取可靠的答案，同时避免出现幻觉（即AI模型产生虚假信息）。它支持私密可靠的信息检索，并内置了工具和自主系统功能。

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

机器学习工程公开课

最先进的网页机器学习。无需服务器，即可直接在浏览器中运行Transformer模型！

正在进行大规模的Transformer模型研究训练

这个仓库包含我使用HuggingFace的Transformers库制作的演示程序。

使用 Mesh-TensorFlow 库实现模型并行 GPT-2 和 GPT-3 风格模型的方案。