setvae

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

使用Pytorch框架实现/复现OpenAI的文本转图像Transformer模型DALL-E

一个简洁完整、基于全注意力机制的Transformer模型，并整合了来自多篇论文中一些有前景的实验特性。

图注意力网络 (论文链接：https://arxiv.org/abs/1710.10903)

这是Veličković等人于2017年发表的论文（https://arxiv.org/abs/1710.10903）中提出的图注意力网络模型的PyTorch实现。

DreamCraft3D（ICLR 2024）：基于自举扩散先验的分层三维生成模型的官方实现

图像字幕生成：PyTorch 教程 | 展示、关注和讲述

Keras 注意力层（Luong 和 Bahdanau 分数）

我实现了原始GAT论文（Veličković等人）中的算法。我还包含了playground.py文件，用于可视化Cora数据集、GAT嵌入、注意力机制和熵直方图。我已经支持了Cora（转导式）和PPI（归纳式）两个例子！