このプロジェクトでは、DeepSeek-V3-0324に対してllama.cppの混合精度量子化を行い、モデルのエッジデバイスへのデプロイの難題を解決し、モデルの実行効率とリソース利用率を向上させました。

自然言語処理Transformers

これはDeepSeek-V3-0324の量子化バージョンで、特定の量子化方法を用いて処理され、様々なシナリオでより効率的な使用を実現することを目的としており、性能と効率をバランスさせるために複数の量子化仕様をサポートしています。

自然言語処理Transformers

これはDeepSeek AIのDeepSeek V3-0324モデルの量子化バージョンで、最適化されたTransformerアーキテクチャを採用し、FP4量子化技術によりモデルサイズとGPUメモリ要件を大幅に削減し、AIエージェントシステムやチャットボットなどの様々なAIアプリケーションシーンに適しています。

自然言語処理Safetensors

DeepSeek-V3-0324 は Unsloth が提供する動的量子化バージョンで、llama.cpp、LMStudio などの推論フレームワークで実行可能です。

自然言語処理Gguf英語

これは完全に訓練されていない実験的なモデルで、主に研究目的で使用され、モデル融合技術によって作成され、正常な機能を回復するには特定の修復プロセスが必要です。

自然言語処理Transformers

DeepSeek-V3-0324は深度求索社が開発した大規模言語モデルで、前身のDeepSeek-V3と比較して推論能力、中国語ライティング、フロントエンド開発などの面で大幅な向上が見られます。

自然言語処理Transformers

DeepSeek-V3-0324-Pruned-Coder-411B は、DeepSeek-V3 アーキテクチャに基づく、コード生成タスクに特化した剪枝最適化済みのコード生成モデルです。

自然言語処理Gguf

現在のV3-0324モデルはこのサイズカテゴリで最高性能の量子化バージョンであり、Q8_0に近い性能を維持しながら大幅にサイズを削減

自然言語処理Ggufその他

DeepSeek V3 0324のAWQ量子化バージョンで、Eric Hartfordとv2rayによって量子化処理が行われました。このバージョンでは、float16を使用した際に発生するオーバーフロー問題が修正され、モデル性能が最適化され、8枚の80GB GPUで完全な文脈長での実行がサポートされています。

自然言語処理Transformers多言語

DeepSeek-V3-0324はDeepSeekチームがリリースした3月の更新バージョンで、前世代と比較して複数のベンチマークテストで大幅な向上が見られ、動的量子化バージョンをサポートし、ローカル推論に適しています。

自然言語処理Gguf英語

DeepSeek-V3-0324のGGUF量子化バージョンで、ローカルテキスト生成タスクに適しています。

自然言語処理Gguf

DeepSeek-V3-0324はDeepSeek AIが提供するBF16バージョンの大規模言語モデルで、FP8をサポートしていないGPUでの量子化と推論に適しています。

自然言語処理Transformers

DeepSeek-V3-0324は、高品質なテキスト生成能力を提供することを目的とした、テキスト生成タスクに特化した強力な基盤モデルです。

自然言語処理Gguf