Linear-Multihead-Attention

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

使用Pytorch框架实现/复现OpenAI的文本转图像Transformer模型DALL-E

一个简洁完整、基于全注意力机制的Transformer模型，并整合了来自多篇论文中一些有前景的实验特性。

收集一些关于视觉Transformer的论文。视觉Transformer在计算机视觉领域（CV）的应用非常棒。

图注意力网络 (论文链接：https://arxiv.org/abs/1710.10903)

一款非官方早期版本的YOLOv7，它结合了Transformer和实例分割技术，并支持TensorRT加速！

这是Veličković等人于2017年发表的论文（https://arxiv.org/abs/1710.10903）中提出的图注意力网络模型的PyTorch实现。

图像字幕生成：PyTorch 教程 | 展示、关注和讲述

Keras 注意力层（Luong 和 Bahdanau 分数）