TrAVis

使用Pytorch实现视觉Transformer，这是一种仅用单个Transformer编码器就能轻松达到图像分类领域最先进水平（SOTA）的简易方法。

李宏毅老师推荐的深度学习教程PDF版，可在GitHub下载：https://github.com/datawhalechina/leedl-tutorial/releases

深度学习研究人员的自然语言处理教程

RWKV（发音为RwaKuv）是一个具有出色大语言模型性能的循环神经网络（RNN），它也可以像GPT Transformer一样直接训练（可并行化）。我们现在处于RWKV-7 "鹅"阶段。因此，它结合了RNN和Transformer的优点——性能卓越、线性时间复杂度、常数空间复杂度（无键值缓存）、快速训练、无限上下文长度以及免费的句子嵌入。

基于CLIP的图像和句子可扩展嵌入、推理和排序

这个仓库包含我使用HuggingFace的Transformers库制作的演示程序。

基于全词掩码的中文BERT预训练模型

海量中文自然语言处理语料库

BertViz：可视化NLP模型中的注意力机制（BERT、GPT2、BART等）

利用BERT和c-TF-IDF技术提取易于理解的主题。