Olmo-3-7B-Instruct-AIO-GGUF是基於Allen Institute for AI開發的Olmo-3-7B-Instruct模型的GGUF量化版本。這是一個70億參數的自迴歸語言模型，通過監督微調和直接偏好優化在Tulu 2和UltraFeedback等數據集上訓練，在問答和指令遵循方面表現出色。

自然語言處理Transformers英語

這是對ai-sage的GigaChat3-10B-A1.8B模型進行的量化處理版本，採用llama.cpp的imatrix量化技術，可在不同硬件條件下更高效地運行。模型支持俄語和英語，主要用於文本生成任務。

自然語言處理Gguf多語言

這是ai-sage/GigaChat3-10B-A1.8B-bf16模型的GGUF量化版本，提供了多種量化選項，從高精度的Q8_0到極度壓縮的smol-IQ1_KT，滿足不同硬件條件下的部署需求。該模型支持32K上下文長度，採用MLA架構，專為對話場景優化。

自然語言處理Gguf其他

這是 ai-sage/GigaChat3-702B-A36B-preview-bf16 模型的量化版本，旨在為大眾提供免費的知識獲取途徑。該模型是一個大型語言模型，專注於文本生成任務。

自然語言處理Gguf

這是ai-sage/GigaChat3-10B-A1.8B模型的量化版本，採用GGUF格式，需要特定的llama.cpp分支支持。模型採用混合專家架構，總參數量約118億，其中激活參數量約18億。

自然語言處理Gguf多語言

這是一個基於Moonshot AI技術的量化版本模型，專注於視覺語言理解與生成任務，致力於降低知識獲取門檻，讓知識為每個人所用。

自然語言處理Gguf

TheWhisper-Large-V3-Turbo 是 OpenAI Whisper Large V3 模型的高性能微調版本，由 TheStage AI 針對多平臺即時、低延遲和低功耗語音轉文本推理進行優化。支持流式轉錄、單詞時間戳和可擴展性能，適用於即時字幕、會議和設備端語音界面等場景。

音頻處理Transformers其他

TheWhisper-Large-V3是OpenAI Whisper Large V3模型的高性能微調版本，由TheStage AI針對多平臺（NVIDIA GPU和Apple Silicon）的即時、低延遲和低功耗語音轉文本推理進行了優化。

音頻處理Transformers其他

這是慧慧AI模型Huihui-MoE-60B-A3B-abliterated的MXFP4_MOE量化版本，為文本生成提供支持。該量化版本基於特定的基礎模型進行處理，能在一定程度上優化模型的性能和使用體驗。

自然語言處理Gguf

NVIDIA GPT-OSS-120B Eagle3是基於OpenAI gpt-oss-120b模型的優化版本，採用混合專家（MoE）架構，具備1200億總參數和50億激活參數。該模型支持商業和非商業使用，適用於文本生成任務，特別適合AI Agent系統、聊天機器人等應用開發。

自然語言處理Safetensors

Llama-3.1-8B-onnx-ryzenai-npu是由AMD基於Meta的Llama-3.1-8B模型開發的優化版本，專門針對AMD Ryzen AI NPU進行優化部署。該模型通過Quark量化、OGA模型構建器和NPU專用後處理技術，在保持高質量文本生成能力的同時，顯著提升了在AMD硬件上的推理效率。

自然語言處理Onnx英語

這是Qwen/Qwen3-0.6B語言模型的GGUF量化版本，一個擁有6億參數的緊湊大語言模型，專為在低資源設備上進行超快速推理而設計。支持llama.cpp、LM Studio、OpenWebUI和GPT4All等框架，可在任何地方離線使用私有AI。

自然語言處理Gguf多語言

ConfTuner-Ministral是基於Mistral架構的量化大語言模型，專門針對可信賴AI場景進行微調，支持文本生成和置信度估計功能。該模型提供了多種量化版本，適用於不同資源約束環境。

自然語言處理Transformers英語

這是 liushiliushi/ConfTuner-Ministral 模型的靜態量化版本，適用於文本生成和置信度估計任務。該模型基於 Mistral 架構，經過微調以提供可信賴的AI輸出，支持多種量化級別以滿足不同硬件需求。

自然語言處理Transformers英語

NVIDIA Qwen2.5-VL-7B-Instruct-FP4是阿里巴巴Qwen2.5-VL-7B-Instruct模型的量化版本，採用優化的Transformer架構，支持多模態輸入（文本和圖像），適用於多種AI應用場景。該模型通過TensorRT Model Optimizer進行FP4量化，在NVIDIA GPU上提供高效的推理性能。

多模態Safetensors

NVIDIA Qwen3-32B FP4模型是阿里巴巴Qwen3-32B模型的量化版本，使用優化的Transformer架構，對權重和激活進行FP4量化，適合用於AI智能體系統、聊天機器人、RAG系統等AI應用。

自然語言處理Safetensors

NVIDIA Qwen3-32B FP4模型是阿里雲Qwen3-32B模型的量化版本，使用優化的Transformer架構，通過將權重和激活量化為FP4數據類型實現高效推理。該模型支持商業和非商業用途，適用於各種AI應用場景。

自然語言處理Safetensors

這是NVIDIA對阿里巴巴Qwen3-14B模型進行FP8量化後的版本，採用優化的Transformer架構，支持131K上下文長度，適用於多種AI應用場景。

自然語言處理Safetensors

NVIDIA Qwen3-14B FP4模型是阿里巴巴Qwen3-14B模型的量化版本，採用FP4數據類型進行優化，通過TensorRT-LLM進行高效推理。該模型專為NVIDIA GPU加速系統設計，適用於AI Agent系統、聊天機器人、RAG系統等多種AI應用場景，支持全球範圍內的商業和非商業使用。

自然語言處理Safetensors

NVIDIA Qwen3-8B FP4 模型是阿里巴巴Qwen3-8B模型的量化版本，採用優化的Transformer架構的自迴歸語言模型。該模型使用FP4量化技術，在保持性能的同時顯著減少內存佔用和計算需求，適用於AI智能體系統、聊天機器人、RAG系統等應用場景。

自然語言處理Safetensors