Roberta Wwm 相关的热门 GitHub AI项目仓库

这是LoRA的代码实现，LoRA指的是“大型语言模型的低秩自适应”技术。

基于全词掩码的中文BERT预训练模型

BertViz：可视化NLP模型中的注意力机制（BERT、GPT2、BART等）

超棒的中文预训练 NLP 模型：高质量中文预训练模型、大模型、多模态模型和大型语言模型合集

轻量级BERT模型用于语言表征的自我监督学习，以及基于海量中文数据的预训练ALBERT模型

基于PyTorch的开源预训练模型框架及预训练模型库

可以直接使用的Rust原生NLP管道和基于Transformer的模型（BERT、DistilBERT、GPT2等）

中文版RoBERTa预训练模型

DeBERTa 的实现

Ecco 能够在 Jupyter Notebook 中直接创建交互式可视化图表，解释基于 Transformer 的语言模型（例如 GPT2、BERT、RoBERTA、T5 和 T0）的工作机制。它能对这些模型进行解释、分析和可视化。

快速便捷的NLP迁移学习，将语言模型应用于工业领域，专注于问答系统。

一个快速且用户友好的运行时环境，用于在 CPU 和 GPU 上进行 Transformer 模型（例如 Bert、Albert、GPT2、解码器等）的推理。

CLUENER2020 中文细粒度命名实体识别

基于PyTorch框架，利用UNILM方案实现BERT模型的Seq2Seq任务，目前已拓展应用于自动摘要、文本分类、情感分析、命名实体识别（NER）和词性标注等多种自然语言处理任务，并兼容T5模型和GPT2模型，支持后者进行文章续写。

100G规模的中文预训练语料库

这是论文“GECToR——语法错误纠正：标记，而非重写”（BEA-20）和“通过标记进行文本简化”（BEA-21）的官方实现代码。

从BERT到GPT-4的各种Transformer模型，以及从Hugging Face到OpenAI的各种环境。包含微调、训练和提示工程的示例。此外，还特别介绍了ChatGPT、GPT-3.5-turbo、GPT-4和DALL-E，包括GPT-4的快速上手、语音转文字、文字转语音，以及使用DALL-E进行文生图，并涵盖了Google Cloud AI、HuggingGPT等更多内容。

一个包含精选 Transformer 模型及其可组合组件的 PyTorch 库

精选中文预训练模型：包含性能领先的大模型、运行速度极快的小模型，以及专注于语义相似度计算的专业模型

Trankit是一个轻量级的基于Transformer的Python工具包，用于多语言自然语言处理。