Bitnet 相关的热门 GitHub AI项目仓库

跨任务、跨语言、跨模态的大规模自监督预训练

使用PyTorch实现“BitNet：为大型语言模型扩展1比特Transformer”

BitNet-Transformers：一个基于PyTorch的项目，使用Llama(2)架构实现了论文“BitNet：为大型语言模型扩展1比特Transformer”中提出的方法，并在Huggingface Transformers框架下运行。

使用FastAPI、Uvicorn和Docker运行微软的BitNet推理框架。

BitNet.js：微软bitnet.cpp推理框架的Node.js实现。

LLaMA-BitNet项目旨在帮助用户基于LLaMA 2模型训练自己的BitNet模型，其灵感源于突破性论文《1比特大型语言模型时代：所有大型语言模型都在1.58比特内》。

基于 llama-cpp-4 的 bitnet.cpp 的 Rust 绑定

一个关于定制AI架构的长期项目，该项目将采用机器学习领域的前沿技术，例如Flash-Attention、Group-Query-Attention、ZeRO-Infinity、BitNet等。

Distily：语言模型蒸馏工具包和库

用Verilog实现Transformer神经网络的比特流网络

Bitnet 1.58b项目实现了近期白皮书中描述的创新型1比特大型语言模型架构，专注于高效训练、推理和开源协作。

这是一个关于MixKABRN神经网络（Kolmogorov-Arnold比特保持网络混合模型）的代码库，尝试首先将其应用于文本训练，之后再调整以适应其他模态。

A powerful and efficient AI virtual co-worker framework built on top of BitNet's 1-bit quantized language models.