这是由Mistral AI开发的大型语言模型Mistral-Large-3-675B-Instruct-2512的GGUF量化版本。原始模型拥有6750亿参数，专为指令遵循任务设计。本项目使用llama.cpp工具，结合imatrix校准数据集，生成了从Q8_0到IQ1_S共20多种不同精度的量化模型文件，旨在平衡模型性能、推理速度与存储/内存占用，使其能在更广泛的硬件上运行。

自然语言处理GgufMultiple Languages

这是kldzj的GPT-OSS-120B-Heretic-v2模型的量化版本，使用llama.cpp的imatrix技术进行量化处理。该模型通过量化技术显著减少了存储和计算资源需求，同时保持了较好的模型性能，便于在各种设备上部署运行。

自然语言处理Gguf

这是一个基于 Kimi-Linear-48B-A3B-Instruct 模型转换的 6 位量化版本，专为 Apple MLX 框架优化。该模型保留了原模型强大的指令跟随能力，同时通过量化技术显著降低了存储和计算需求，适合在 Apple 硬件上高效运行。

自然语言处理Mlx

这是对internlm的JanusCoder-8B模型进行量化处理的版本，采用llama.cpp的imatrix量化技术，在保证性能的前提下显著减少模型的存储和计算资源需求，使模型能够在更多设备上高效运行。

自然语言处理Gguf

这是Qwen3-Yoyo-V4-42B-A3B-Thinking-TOTAL-RECALL模型的MXFP4_MOE量化版本，专门针对文本生成任务进行了优化。该模型基于42B参数的大语言模型架构，通过量化技术降低计算和存储需求，同时保持较好的性能表现。

自然语言处理Gguf

GLM-4.6 AWQ - INT4是GLM-4.6模型的4位量化版本，采用AWQ量化方法，在保持模型性能的同时显著减少了存储和计算资源需求。该模型支持200K上下文长度，在编码、推理和智能体任务方面相比GLM-4.5有显著提升。

自然语言处理TransformersMultiple Languages

这是慧慧GPT-OSS-120B-BF16-abliterated-v2模型的MXFP4_MOE量化版本，专门针对文本生成任务进行优化，提供高效的文本生成能力。该模型通过量化技术降低了计算和存储需求，同时保持了良好的性能。

自然语言处理Gguf

这是Qwen3-Next-80B-A3B-Thinking的MXFP4量化版本，采用先进的量化技术在保持模型性能的同时显著减少存储和计算需求。作为实验性版本，展示了最新的量化技术成果。

自然语言处理Gguf

这是Qwen3-Coder-REAP-25B-A3B模型的MXFP4_MOE量化版本，专门用于文本生成任务。该模型基于25B参数的Qwen3-Coder架构，通过MXFP4量化技术优化了存储和推理效率，同时保持了良好的性能表现。

自然语言处理Gguf

Qwen3-VL-32B-Instruct AWQ - INT4是基于Qwen3-VL-32B-Instruct基础模型的4位量化版本，采用AWQ量化方法，在保持性能的同时显著减少存储和计算资源需求。这是Qwen系列中最强大的视觉语言模型，在文本理解、视觉感知、上下文长度等方面全面升级。

多模态Transformers

这是Cerebras公司Qwen3-Coder-REAP-25B-A3B模型的量化版本，使用llama.cpp的imatrix技术进行量化处理，能够在减少模型存储空间和计算资源需求的同时保持模型性能。

自然语言处理Gguf

这是一个基于Qwen3-Next-80B-A3B-Instruct模型的Q4_0量化版本，通过特定量化技术显著提升了模型在存储和计算方面的效率，同时保持了良好的性能表现。

自然语言处理Gguf

Llama Nemotron Embedding 1B模型是NVIDIA开发的专为多语言和跨语言文本问答检索优化的嵌入模型，支持26种语言，能够处理长达8192个标记的文档，并可通过动态嵌入大小大幅减少数据存储占用。

自然语言处理TransformersOther

基于LoRA的4步推理高性能视频生成模型，从Wan2.2蒸馏模型中提取的LoRA权重，具备灵活部署、存储高效和出色生成质量的特点

多模态Diffusers

这是Qwen3-VL-4B-Thinking模型的量化版本，通过llama.cpp的imatrix量化方法在保证性能的同时大幅减少模型存储和计算资源需求，支持在各种硬件环境中部署使用。

多模态Gguf

这是使用LLM Compressor和NVFP4格式对Qwen/Qwen3-Next-80B-A3B-Thinking进行量化后的版本，采用FP4微缩放技术，在保持高精度的同时大幅减少模型存储和计算需求。

自然语言处理TransformersMultiple Languages

这是IBM Granite-4.0-H-Tiny模型的GGUF量化版本，使用llama.cpp进行多种精度量化处理，在保证性能的同时显著减少模型存储空间和计算资源需求，便于部署和运行。

自然语言处理Gguf

本项目提供腾讯混元-MT-7B大语言模型的量化版本，通过模型压缩技术降低计算和存储需求，致力于让知识为每个人所用，使高性能AI模型更加普及和易用。

自然语言处理Gguf

Apertus-8B-Instruct-2509-NVFP4是基于swiss-ai/Apertus-8B-Instruct-2509的NVFP4量化版本，通过llmcompressor工具生成。该模型在保持性能的同时显著减少了存储空间和计算资源需求，提升了推理效率。

自然语言处理SafetensorsEnglish

这是TheDrummer的Behemoth R1 123B v2模型的量化版本，使用llama.cpp和imatrix技术进行量化处理，可在保持较好性能的同时显著减少模型存储空间和计算资源需求，适合在不同设备上运行。

自然语言处理Gguf