Attention Mechanisms 相关的热门 GitHub AI项目仓库

60多个深度学习论文的实现/教程，并附带旁注；涵盖Transformer（原始版、XL、Switch、Feedback、ViT等）、优化器（Adam、AdaBelief、Sophia等）、GAN（CycleGAN、StyleGAN2等）、强化学习（PPO、DQN）、Capsule网络、知识蒸馏等。

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

使用NumPy进行机器学习

深度学习研究人员的自然语言处理教程

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

一个使用PyTorch实现的Transformer模型，该模型出自论文“Attention is All You Need”。

在PaLM架构之上实现基于人类反馈的强化学习（RLHF）。简单来说，就是基于PaLM的ChatGPT。

中文LLaMA-2和Alpaca-2大模型二期项目，支持64K超长上下文

正式发布InternLM系列模型（InternLM、InternLM2、InternLM2.5、InternLM3）

这是AAAI 2021 录用论文“Informer”的GitHub代码库。

一个简洁完整、基于全注意力机制的Transformer模型，并整合了来自多篇论文中一些有前景的实验特性。

使用PyTorch和TorchText实现几种序列到序列(seq2seq)模型的教程。

使用Pytorch框架实现/复现OpenAI的文本转图像Transformer模型DALL-E

企业级、生产就绪的多智能体编排框架。网站：https://swarms.ai

一份关于视觉Transformer/注意力机制的全面论文列表，包含论文、代码和相关网站链接。

一些重要的图嵌入、分类和表示学习论文及其代码实现的集合。

一份精选的关于大语言模型/大视觉语言模型推理的优秀论文及代码清单，涵盖了WINT8/4、Flash-Attention、Paged-Attention、并行化等技术。

?A curated list of Awesome LLM/VLM Inference Papers with Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.?

FlashInfer：大型语言模型（LLM）服务内核库

这个仓库收集了自然语言处理（NLP）算法工程师学习顶级会议论文的心得笔记。