本項目對DeepSeek-V3-0324進行了llama.cpp混合精度量化，解決了模型在邊緣設備上部署的難題，提升了模型的運行效率和資源利用率。

自然語言處理Transformers

這是DeepSeek-V3-0324的量化版本，採用特定量化方法處理，旨在不同場景下實現更高效的使用，支持多種量化規格以平衡性能與效率。

自然語言處理Transformers

這是DeepSeek AI的DeepSeek V3-0324模型的量化版本，採用優化的Transformer架構，通過FP4量化技術顯著減少了模型大小和GPU內存需求，適用於AI智能體系統、聊天機器人等多種AI應用場景。

自然語言處理Safetensors

DeepSeek-V3-0324 是由 Unsloth 提供的動態量化版本，支持在 llama.cpp、LMStudio 等推理框架中運行。

自然語言處理Gguf英語

這是一個未經過完整訓練的實驗性模型，主要用於研究目的，通過模型融合技術創建，需要特定修復流程才能恢復正常功能。

自然語言處理Transformers

DeepSeek-V3-0324是深度求索公司推出的大語言模型，相比前身DeepSeek-V3在推理能力、中文寫作和前端開發等方面有顯著提升。

自然語言處理Transformers

DeepSeek-V3-0324-Pruned-Coder-411B 是一個經過剪枝優化的代碼生成模型，基於 DeepSeek-V3 架構，專注於代碼生成任務。

自然語言處理Gguf

當前V3-0324模型在該尺寸類別中表現最佳的量化版本，在保持性能接近Q8_0的同時顯著減小了體積

自然語言處理Gguf其他

DeepSeek V3 0324的AWQ量化版本，由Eric Hartford和v2ray完成量化處理。該版本修復了使用float16時出現的溢出問題，優化了模型性能，支持在8張80GB GPU上以完整上下文長度運行。

自然語言處理Transformers多語言

DeepSeek-V3-0324 是 DeepSeek 團隊發佈的 3 月更新版本，相比前代在多個基準測試上有顯著提升，支持動態量化版本，適用於本地推理。

自然語言處理Gguf英語

DeepSeek-V3-0324的GGUF量化版本，適用於本地文本生成任務。

自然語言處理Gguf

DeepSeek-V3-0324是DeepSeek AI推出的BF16版本大語言模型，適用於不支持FP8的GPU進行量化和推理。

自然語言處理Transformers

DeepSeek-V3-0324 是一個強大的基礎模型，專注於文本生成任務，旨在提供高質量的文本生成能力。

自然語言處理Gguf