Qwen3-VL是通义系列最强大的视觉语言模型，采用混合专家模型架构（MoE），提供GGUF格式权重，支持在CPU、GPU等设备上进行高效推理。模型在文本理解、视觉感知、空间理解、视频处理等方面全面升级。

多模态Gguf

Qwen3-VL-2B-Thinking是Qwen系列中最强大的视觉语言模型之一，采用GGUF格式权重，支持在CPU、NVIDIA GPU、Apple Silicon等设备上进行高效推理。该模型具备出色的多模态理解和推理能力，特别增强了视觉感知、空间理解和智能体交互功能。

多模态Transformers

Qwen3-VL是通义系列中最强大的视觉语言模型，具备出色的文本理解和生成能力、深入的视觉感知和推理能力、长上下文支持、强大的空间和视频动态理解能力，以及智能体交互能力。本仓库提供GGUF格式权重，支持在CPU、GPU等设备上高效推理。

多模态Transformers

Qwen3-VL-2B-Instruct-GGUF是通义千问系列的多模态视觉语言模型的GGUF量化版本，具备20亿参数，支持图像理解和文本生成的无缝融合，可在CPU、GPU等设备上高效运行。

多模态Transformers

这是UltraReal Fine-Tune模型的SVDQ量化版本，由Danrisi基于Flux开发，是一款文本到图像生成模型。该版本提供了多种量化方案，适配不同GPU硬件，特别针对非Blackwell系列和Blackwell系列GPU进行了优化。

多模态Diffusers英语

这是DeepSeek-OCR的模态平衡量化（MBQ）变体，通过对视觉编码器采用4位NF4量化减少内存占用，同时保持投影器和语言/解码器的BF16精度，可在普通GPU上进行本地部署和快速CPU试验。

多模态Transformers

TheWhisper-Large-V3是OpenAI Whisper Large V3模型的高性能微调版本，由TheStage AI针对多平台（NVIDIA GPU和Apple Silicon）的实时、低延迟和低功耗语音转文本推理进行了优化。

音频处理Transformers其他

Llama-4-Maverick-17B-128E-Instruct-NVFP4是一个经过FP4量化处理的多语言大语言模型，基于Meta-Llama-3.1架构，专为商业和研究用途设计。该模型通过将权重和激活量化为FP4数据类型，显著减少了磁盘空间和GPU内存需求，同时保持较好的性能表现。

自然语言处理Safetensors支持多种语言

这是Project0模型的SVDQ量化版本，基于Flux Dev和Flux Krea创建的文本到图像模型。该模型提供了多种量化格式，针对不同GPU架构进行了优化，包括INT4和FP4量化版本，适用于Blackwell和非Blackwell GPU用户。

多模态Diffusers英语

Svara-TTS是一款面向印度语言的开源多语言文本转语音模型，支持19种语言（18种印度语言+印度英语）。该模型基于Orpheus风格的离散音频令牌方法构建，旨在普通GPU/CPU上实现清晰、富有表现力且低延迟的语音合成。

音频处理Transformers支持多种语言

DeepSeek-OCR-bnb-4bit-NF4 是 deepseek-ai/DeepSeek-OCR 的 4 位 NF4 量化版本，使用 bitsandbytes 创建。它在保持高精度的同时，显著减少了显存使用量（最多可减少至 8GB），非常适合消费级 GPU。

多模态Safetensors其他

这是一个专门用于压缩短用户提示（≤64个标记）的序列到序列模型，在现代GPU上可实现亚100毫秒的低延迟运行，作为轻量级预处理阶段为高容量大语言模型提供支持。

自然语言处理Transformers

基于J1B的Flux.1-Dev开发的文本到图像生成模型的量化版本，采用SVDQuant技术进行优化，提供INT4和FP4两种量化格式，适用于不同GPU架构的用户。

计算机视觉Diffusers支持多种语言

PixelWave是基于Flux.1开发的文本到图像模型，经过Nunchaku量化（SVDQ）优化，为不同GPU配置的用户提供了高效的图像生成解决方案。

计算机视觉Diffusers英语

这是Qwen3-235B-A22B-Instruct-2507模型的量化版本，通过将权重和激活量化为FP4数据类型，显著降低了磁盘大小和GPU内存需求，同时保持与原始模型相近的性能表现。

自然语言处理Safetensors支持多种语言

CenKreChro-SVDQ 是基于 Chroma 和 Flux Krea 合并的文本到图像生成模型的量化版本，采用 SVDQuant 技术进行优化，提供 INT4 和 FP4 两种量化格式，分别适用于不同世代的 GPU 硬件。

计算机视觉Diffusers英语

这是Meta Llama-3.1-8B-Instruct模型的FP8量化版本，通过对权重和激活值进行FP8量化，显著减少了磁盘大小和GPU内存需求，同时保持了良好的模型性能。

自然语言处理Safetensors

GLM 4.6是一款专为128GB内存+单GPU配置优化的量化模型，采用IQ_K量化方式，相比主流llama.cpp在相同大小下提供更好的质量和性能。该模型需要配合ik_llama.cpp使用，在128GB双通道DDR5内存、单CCD Ryzen 7000处理器+单张3090显卡配置下，文本生成速度可达每秒约6.8个token。

自然语言处理Gguf支持多种语言

这是NVIDIA-Nemotron-Nano-9B-v2模型的FP8动态量化版本，通过将权重和激活量化为FP8数据类型实现优化，显著减少磁盘大小和GPU内存需求约50%，同时保持出色的文本生成性能。

自然语言处理Transformers支持多种语言

这是TheDrummer/Snowpiercer-15B-v3模型的GGUF量化版本，提供了多种量化选项，从高质量到低内存占用，支持在CPU和GPU上高效运行。模型使用llama.cpp进行量化，并针对不同硬件进行了优化。

自然语言处理Gguf