发现与 Ring Attention 相关的最受欢迎的开源项目和工具,了解最新的开发趋势和创新。
60多个深度学习论文的实现/教程,并附带旁注;涵盖Transformer(原始版、XL、Switch、Feedback、ViT等)、优化器(Adam、AdaBelief、Sophia等)、GAN(CycleGAN、StyleGAN2等)、强化学习(PPO、DQN)、Capsule网络、知识蒸馏等。
使用Pytorch实现视觉Transformer,这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平(SOTA)的简易方法。
使用NumPy进行机器学习
深度学习研究人员的自然语言处理教程
RWKV(发音为RwaKuv)是一个具有出色大语言模型性能的循环神经网络(RNN),它也可以像GPT Transformer一样直接训练(可并行化)。我们现在处于RWKV-7 "鹅"阶段。因此,它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度(无键值缓存)、快速训练、无限上下文长度以及免费的句子嵌入。
一个使用PyTorch实现的Transformer模型,该模型出自论文“Attention is All You Need”。
在PaLM架构之上实现基于人类反馈的强化学习(RLHF)。简单来说,就是基于PaLM的ChatGPT。
中文LLaMA-2和Alpaca-2大模型二期项目,支持64K超长上下文
正式发布InternLM系列模型(InternLM、InternLM2、InternLM2.5、InternLM3)
这是AAAI 2021 录用论文“Informer”的GitHub代码库。
使用Pytorch框架实现/复现OpenAI的文本转图像Transformer模型DALL-E
使用PyTorch和TorchText实现几种序列到序列(seq2seq)模型的教程。
一个简洁完整、基于全注意力机制的Transformer模型,并整合了来自多篇论文中一些有前景的实验特性。
企业级、生产就绪的多智能体编排框架。网站:https://swarms.ai
一份关于视觉Transformer/注意力机制的全面论文列表,包含论文、代码和相关网站链接。
一些重要的图嵌入、分类和表示学习论文及其代码实现的集合。
一份精选的关于大语言模型/大视觉语言模型推理的优秀论文及代码清单,涵盖了WINT8/4、Flash-Attention、Paged-Attention、并行化等技术。
这个仓库收集了自然语言处理(NLP)算法工程师学习顶级会议论文的心得笔记。
Scenic:一个用于计算机视觉研究及其他领域的 Jax 库
基于上下文注意力和门卷积的DeepFill v1/v2模型,分别发表于2018年CVPR会议和2019年ICCV会议(并获口头报告)