Onnxruntime Gpu 相关的热门 GitHub AI项目仓库

适用于GPU云端和本地环境的ComfyUI Docker镜像。包含AI-Dock基础镜像，用于身份验证和提升用户体验。

Python中基于张量和动态神经网络的强大GPU加速计算

DeepSpeed是一个深度学习优化库，它使分布式训练和推理变得轻松、高效且有效。

开源免费的替代方案，可替代OpenAI、Claude等。支持本地自托管，无需GPU，可在家用硬件上运行。可直接替换OpenAI，支持gguf、transformers、diffusers等多种模型架构。功能包括：文本、音频、视频、图像生成，语音克隆，分布式和P2P推理。

Python+NumPy程序的可组合变换：微分、矢量化、GPU/TPU的即时编译等等

无需修改代码，即可在多块GPU或TPU上预训练和微调任何大小的AI模型。

fastai深度学习库

DeepSpeech是一个开源的嵌入式（离线，设备端）语音转文本引擎，它可以在从树莓派4到高性能GPU服务器等各种设备上实时运行。

一个使用WebGL加速的JavaScript库，用于训练和部署机器学习模型。

中文版LLaMA和Alpaca大语言模型，支持本地CPU/GPU训练和部署

在浏览器和 Node.js 中使用 JavaScript 加速神经网络的 GPU

面向CPU、GPU和专用加速器的开放式深度学习编译器栈

NVIDIA TensorRT 是一个用于在 NVIDIA GPU 上进行高性能深度学习推理的 SDK（软件开发工具包）。这个代码库包含 TensorRT 的开源组件。

一个基于Python的开源低代码机器学习库

在单个GPU上运行大型语言模型以实现吞吐量导向的场景。

SkyPilot：在任何基础设施（Kubernetes 或 15+ 云平台）上运行 AI 和批量作业。通过简单的界面获得统一的执行、成本节省和高 GPU 可用性。

CUDA线性代数子程序模板

一个 Python 库，旨在帮助开发者构建具有独立计算机视觉功能的应用程序和系统。

一个快速、可扩展、高性能的基于决策树的梯度提升库，用于Python、R、Java、C++的排序、分类、回归和其他机器学习任务。支持CPU和GPU计算。

在英特尔XPU（例如，配备iGPU和NPU的本地PC，以及Arc、Flex和Max等独立显卡）上加速本地大型语言模型（LLM）的推理和微调（例如LLaMA、Mistral、ChatGLM、Qwen、DeepSeek、Mixtral、Gemma、Phi、MiniCPM、Qwen-VL、MiniCPM-V等）；与llama.cpp、Ollama、HuggingFace、LangChain、LlamaIndex、vLLM、DeepSpeed、Axolotl等无缝集成。