这是由Mistral AI开发的大型语言模型Mistral-Large-3-675B-Instruct-2512的GGUF量化版本。原始模型拥有6750亿参数，专为指令遵循任务设计。本项目使用llama.cpp工具，结合imatrix校准数据集，生成了从Q8_0到IQ1_S共20多种不同精度的量化模型文件，旨在平衡模型性能、推理速度与存储/内存占用，使其能在更广泛的硬件上运行。

自然语言处理Gguf支持多种语言

本模型是 Mistral AI 发布的 Ministral-3-3B-Instruct-2512 指令微调模型的 MLX 格式转换版本。它是一个参数规模为 3B 的大型语言模型，专门针对遵循指令和对话任务进行了优化，并支持多种语言。MLX 格式使其能够在 Apple Silicon 设备上高效运行。

自然语言处理Mlx支持多种语言

Olmo-3-7B-Instruct-AIO-GGUF是基于Allen Institute for AI开发的Olmo-3-7B-Instruct模型的GGUF量化版本。这是一个70亿参数的自回归语言模型，通过监督微调和直接偏好优化在Tulu 2和UltraFeedback等数据集上训练，在问答和指令遵循方面表现出色。

自然语言处理Transformers英语

这是对ai-sage的GigaChat3-10B-A1.8B模型进行的量化处理版本，采用llama.cpp的imatrix量化技术，可在不同硬件条件下更高效地运行。模型支持俄语和英语，主要用于文本生成任务。

自然语言处理Gguf支持多种语言

这是ai-sage/GigaChat3-10B-A1.8B-bf16模型的GGUF量化版本，提供了多种量化选项，从高精度的Q8_0到极度压缩的smol-IQ1_KT，满足不同硬件条件下的部署需求。该模型支持32K上下文长度，采用MLA架构，专为对话场景优化。

自然语言处理Gguf其他

这是 ai-sage/GigaChat3-702B-A36B-preview-bf16 模型的量化版本，旨在为大众提供免费的知识获取途径。该模型是一个大型语言模型，专注于文本生成任务。

自然语言处理Gguf

这是ai-sage/GigaChat3-10B-A1.8B模型的量化版本，采用GGUF格式，需要特定的llama.cpp分支支持。模型采用混合专家架构，总参数量约118亿，其中激活参数量约18亿。

自然语言处理Gguf支持多种语言

这是一个基于Moonshot AI技术的量化版本模型，专注于视觉语言理解与生成任务，致力于降低知识获取门槛，让知识为每个人所用。

自然语言处理Gguf

TheWhisper-Large-V3-Turbo 是 OpenAI Whisper Large V3 模型的高性能微调版本，由 TheStage AI 针对多平台实时、低延迟和低功耗语音转文本推理进行优化。支持流式转录、单词时间戳和可扩展性能，适用于实时字幕、会议和设备端语音界面等场景。

音频处理Transformers其他

TheWhisper-Large-V3是OpenAI Whisper Large V3模型的高性能微调版本，由TheStage AI针对多平台（NVIDIA GPU和Apple Silicon）的实时、低延迟和低功耗语音转文本推理进行了优化。

音频处理Transformers其他

这是慧慧AI模型Huihui-MoE-60B-A3B-abliterated的MXFP4_MOE量化版本，为文本生成提供支持。该量化版本基于特定的基础模型进行处理，能在一定程度上优化模型的性能和使用体验。

自然语言处理Gguf

NVIDIA GPT-OSS-120B Eagle3是基于OpenAI gpt-oss-120b模型的优化版本，采用混合专家（MoE）架构，具备1200亿总参数和50亿激活参数。该模型支持商业和非商业使用，适用于文本生成任务，特别适合AI Agent系统、聊天机器人等应用开发。

自然语言处理Safetensors

Llama-3.1-8B-onnx-ryzenai-npu是由AMD基于Meta的Llama-3.1-8B模型开发的优化版本，专门针对AMD Ryzen AI NPU进行优化部署。该模型通过Quark量化、OGA模型构建器和NPU专用后处理技术，在保持高质量文本生成能力的同时，显著提升了在AMD硬件上的推理效率。

自然语言处理Onnx英语

这是Qwen/Qwen3-0.6B语言模型的GGUF量化版本，一个拥有6亿参数的紧凑大语言模型，专为在低资源设备上进行超快速推理而设计。支持llama.cpp、LM Studio、OpenWebUI和GPT4All等框架，可在任何地方离线使用私有AI。

自然语言处理Gguf支持多种语言

ConfTuner-Ministral是基于Mistral架构的量化大语言模型，专门针对可信赖AI场景进行微调，支持文本生成和置信度估计功能。该模型提供了多种量化版本，适用于不同资源约束环境。

自然语言处理Transformers英语

这是 liushiliushi/ConfTuner-Ministral 模型的静态量化版本，适用于文本生成和置信度估计任务。该模型基于 Mistral 架构，经过微调以提供可信赖的AI输出，支持多种量化级别以满足不同硬件需求。

自然语言处理Transformers英语

NVIDIA Qwen2.5-VL-7B-Instruct-FP4是阿里巴巴Qwen2.5-VL-7B-Instruct模型的量化版本，采用优化的Transformer架构，支持多模态输入（文本和图像），适用于多种AI应用场景。该模型通过TensorRT Model Optimizer进行FP4量化，在NVIDIA GPU上提供高效的推理性能。

多模态Safetensors

NVIDIA Qwen3-32B FP4模型是阿里巴巴Qwen3-32B模型的量化版本，使用优化的Transformer架构，对权重和激活进行FP4量化，适合用于AI智能体系统、聊天机器人、RAG系统等AI应用。

自然语言处理Safetensors

NVIDIA Qwen3-32B FP4模型是阿里云Qwen3-32B模型的量化版本，使用优化的Transformer架构，通过将权重和激活量化为FP4数据类型实现高效推理。该模型支持商业和非商业用途，适用于各种AI应用场景。

自然语言处理Safetensors

这是NVIDIA对阿里巴巴Qwen3-14B模型进行FP8量化后的版本，采用优化的Transformer架构，支持131K上下文长度，适用于多种AI应用场景。

自然语言处理Safetensors