TrackNetV3

统一高效微调100多个大型语言模型和视觉语言模型 (ACL 2024)

中文版LLaMA和Alpaca大语言模型，支持本地CPU/GPU训练和部署

NVIDIA TensorRT 是一个用于在 NVIDIA GPU 上进行高性能深度学习推理的 SDK（软件开发工具包）。这个代码库包含 TensorRT 的开源组件。

YOLOX是一个高性能的无锚点YOLO目标检测器，性能超越了yolov3到yolov5。它支持MegEngine、ONNX、TensorRT、ncnn和OpenVINO等多种推理引擎。文档地址：https://yolox.readthedocs.io/

TensorRT 和 NVIDIA Jetson 深度学习推理网络及深度视觉原语部署指南

BoxMOT：适用于分割、目标检测和姿态估计模型的先进可插拔跟踪模块

有损PNG压缩器——基于libimagequant库的pngquant命令

一个基于 GPTQ 算法，易于使用且提供用户友好型 API 的大型语言模型量化工具包。

一个易于使用的 PyTorch 到 TensorRT 转换器

一份精选的关于大语言模型/大视觉语言模型推理的优秀论文及代码清单，涵盖了WINT8/4、Flash-Attention、Paged-Attention、并行化等技术。