这是allenai的Olmo-3-32B-Think模型的GGUF量化版本，通过llama.cpp工具进行多种量化处理，旨在提升模型在特定环境下的性能和效率。提供了从Q2到Q8的多种量化选项，满足不同硬件配置和性能需求。

自然语言处理Gguf英语

Olmo 3是由Allen Institute for AI开发的新一代语言模型家族，包含7B和32B的指令和思维变体。该模型在长链式思维方面表现出色，能显著提升数学和编码等推理任务的性能。所有代码、检查点和训练细节都将公开，推动语言模型科学发展。

自然语言处理Transformers英语

Olmo 3是由Allen Institute for AI开发的一系列语言模型，包含7B和32B两种规模，具有指令式和思考式两种变体。该模型在长链式思维方面表现出色，能有效提升数学和编码等推理任务的性能。采用多阶段训练方式，包括有监督微调、直接偏好优化和可验证奖励的强化学习。

自然语言处理Transformers英语

本项目是对Qwen3-Coder-30B-A3B-Instruct模型进行MXFP4_MOE量化的成果，将上下文大小从256k扩展到1M，为代码生成和编程任务提供了更优化的模型版本，具有提升性能和节省资源的价值。

多模态Gguf

Kimi Linear是一种高效混合线性注意力架构，在短上下文、长上下文和强化学习场景中均优于传统全注意力方法。它通过Kimi Delta Attention (KDA)机制优化注意力计算，显著提升性能和硬件效率，特别擅长处理长达100万令牌的长上下文任务。

自然语言处理Transformers

GLM-4.6 AWQ - INT4是GLM-4.6模型的4位量化版本，采用AWQ量化方法，在保持模型性能的同时显著减少了存储和计算资源需求。该模型支持200K上下文长度，在编码、推理和智能体任务方面相比GLM-4.5有显著提升。

自然语言处理Transformers支持多种语言

MiniMax-M2-AWQ是基于MiniMaxAI/MiniMax-M2模型的量化版本，通过vLLM框架实现高效的文本生成。该模型采用AWQ量化技术，在保持模型性能的同时显著减少内存占用和提升推理速度，支持32K上下文长度和工具调用功能。

自然语言处理Transformers

本项目是对Qwen3-30B-A3B-YOYO-V4模型进行的MXFP4_MOE量化版本。该量化技术能够显著提升模型在资源受限环境下的运行效率，同时保持较好的模型性能，适用于需要高效推理的各种场景。

自然语言处理Gguf

这是SmallThinker - 21BA3B - Instruct模型的MXFP4_MOE量化版本，专门针对特定场景进行了优化，旨在提升模型的性能和推理效率。该量化版本保持了原模型的核心能力，同时在资源消耗和推理速度方面有所改进。

自然语言处理Gguf

Qwen3-VL-8B-Instruct是由Qwen团队开发的多模态视觉语言模型，支持图像文本到文本转换。该版本经过MLX 8位量化处理，专门针对苹果硅芯片进行优化，在保持性能的同时提升运行效率。

多模态Mlx

这是Kwaipilot的KAT-Dev模型的量化版本，使用llama.cpp的imatrix量化技术处理，旨在提升模型在不同硬件环境下的运行效率和性能。该版本提供多种量化级别，从高质量到极致压缩，适应不同的内存和计算资源需求。

自然语言处理Gguf

这是微软UserLM-8b模型的量化版本，使用llama.cpp的imatrix量化技术，可在保持模型性能的同时显著减少内存占用和提升推理速度。支持多种量化级别，从高质量到极致压缩，适用于不同硬件环境。

自然语言处理Gguf

通义深度研究30B是一款具有300亿参数的大语言模型，专为长周期、深度信息搜索任务设计。该模型在多个智能搜索基准测试中表现出色，采用创新的量化方法提升性能，支持智能预训练、监督微调与强化学习。

自然语言处理Transformers英语

这是对mirth/chonky_distilbert_base_uncased_1模型的微调版本，通过在更多数据上进行训练来提升模型性能，主要用于文本分块和RAG相关任务。

自然语言处理Transformers英语

Wan2.2是基础视频模型的重大升级版本，引入了混合专家（MoE）架构、融入精心策划的美学数据、在更大数据上训练以提升复杂运动生成能力。该模型支持生成480P和720P分辨率的5秒视频，在视频生成质量和性能上有显著提升。

多模态Diffusers

这是IBM Granite 4.0 Micro模型的量化版本，使用llama.cpp的imatrix技术进行优化处理，旨在提升模型在特定环境下的运行效率和性能。该版本提供了多种量化级别选择，适用于不同的硬件配置和使用场景。

自然语言处理Gguf

GLM-4.6-AWQ是基于zai-org/GLM-4.6基础模型的量化版本，具备高效的文本生成能力。相比GLM-4.5，该模型在上下文窗口、编码性能、推理能力和智能体功能等方面都有显著提升。

自然语言处理Transformers

GLM-4.6是智谱AI开发的新一代大语言模型，相比GLM-4.5在上下文处理、编码能力和推理性能方面有显著提升。该模型支持200K上下文长度，在多个公开基准测试中表现出色，特别在代码生成、推理和代理任务方面具有竞争优势。

自然语言处理Transformers支持多种语言

GLM-4.6是智谱AI推出的新一代文本生成模型，相比GLM-4.5在上下文处理、编码性能、推理能力等方面实现显著提升，支持200K上下文长度，具备更强的智能体能力和精致的写作能力。

自然语言处理Transformers支持多种语言

Qwen3-Next-80B-A3B-Instruct是通义千问团队开发的高效稀疏混合专家模型，总参数量80B，激活参数量仅3B。该模型采用创新的混合注意力机制和极低激活率的MoE架构，在保持强大性能的同时大幅提升推理效率，原生支持262K上下文长度并可扩展至1M令牌。

自然语言处理Transformers