发现与 High Dimensional Inference 相关的最受欢迎的开源项目和工具，了解最新的开发趋势和创新。
GPT4All：在任何设备上运行本地大型语言模型。开源且可用于商业用途。
一种高效且内存利用率高的用于大型语言模型推理和服务的引擎
OpenAI Whisper 模型的 C/C++ 端口
降低大型AI模型的成本，提升其速度和易用性
DeepSpeed是一个深度学习优化库，它使分布式训练和推理变得轻松、高效且有效。
Ray是一个AI计算引擎。它包含一个核心分布式运行时和一套AI库，用于加速机器学习工作负载。
一个用于日常对话的生成式语音模型。
适用于直播和流媒体的跨平台、可定制机器学习解决方案
软VC VITS歌声转换
ncnn是一个针对移动平台优化的，高性能神经网络推理框架。
这个项目旨在分享大模型的技术原理和实际应用经验，包括大模型的工程化和落地应用。
SGLang是一个用于大型语言模型和视觉语言模型的快速服务框架。
使用NumPy进行机器学习
机器学习工程公开课
20多种高性能大型语言模型，附带大规模预训练、微调和部署的方案。
Burn是一个全新的、功能强大的动态深度学习框架，它基于Rust语言构建，其主要目标是实现极高的灵活度、计算效率和可移植性。
NVIDIA TensorRT 是一个用于在 NVIDIA GPU 上进行高性能深度学习推理的 SDK（软件开发工具包）。这个代码库包含 TensorRT 的开源组件。
在云端运行任何开源大型语言模型（LLM），例如 DeepSeek 和 Llama，并将其作为兼容 OpenAI API 的端点。
TensorRT-LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and support state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT-LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in performant way.
一些 Jupyter Notebook 示例，演示如何使用 Amazon SageMaker 构建、训练和部署机器学习模型。
